图 像 作为 人 类 感知 世界 的 视觉 基础 ， 是 人 类 获取 信息 、 表 达 信 息 和 传递 信息 的 重要 手段 。 图 像 处 理 就 是 利用 计算 机 对 图 像 信 
息 进行 加 工 以 满足 人 的 视觉 心理 或 者 应 用 需求 的 行为 ， 图 像 信 息 实质 上 是 一 段 能 够 被 计算 机 还 原 、 显 示 和 输出 为 一 幅 图 像 的 数字 
Fie 


图 像 处 理 技术 可 以 帮助 人 们 更 客观 、 更 准确 地 认识 世界 ， 人 的 视觉 系统 可 以 帮助 人 类 从 外 界 获取 3/4 以 上 的 信息 ， 而 图 像 、 
图 形 又 是 所 有 视 党 信息 的 载体 ， 尽 管 人 眼 的 鉴别 力 很 高 ， 可 以 识别 上 千 种 颜色 ， 但 很 多 情况 下 ， 图 像 对 于 人 了 眼 来 说 是 模糊 的 ， 其 
至 是 不 可 见 的 。 图 像 增强 技术 可 以 使 模糊 甚至 不 可 见 的 图 像 变 得 清晰 明亮 ; 通过 图 像 处 理 中 的 模式 识别 技术 ， 可 以 将 人 眼 无 法 识 
别 的 图 像 进行 分 类 处 理 。 


图 像 处 理 是 信号 处 理 中 一 个 非常 重要 的 领域 ， 涉 及 的 理论 知识 众多 。 仅 仅 通过 理论 讲解 很 难 帮 助 读者 掌握 图 像 处 理 的 基本 原 
理 ， 也 不 能 帮助 读者 得 到 直观 的 认识 ， 因 此 本 书 与 DpenCV 编 程 实践 相 结合 。 在 Visual C++ 中 引入 OpenCV 大 大 降低 了 开发 强度 ， 
如 果 读 者 对 图 像 处 理 原理 已 经 比较 了 解 ， 那 么 完全 可 以 在 Visual C++ 中 结合 OpenCV 进 行 编程 开发 。 


本 书 是 依据 作者 近 几 年 研究 过 程 中 重要 的 基础 部 分 编写 的 ， 书 中 主要 介绍 图 像 处 理 的 基础 方法 ， 其 中 不 仅 包括 经 典 方法 ， 而 
且 包 括 近 几 年 在 研究 中 所 提出 的 方法 。 作 者 深入 浅 出 地 阐述 和 论证 了 图 像 处 理 中 共性 的 和 基础 性 的 知识 ， 以 及 有 关 前 端的 处 理 理 
论 、 方 法 和 技术 ， 探 讨 了 图 像 增强 和 恢复 、 图 像 分 析 等 新 专题 ， 并 包括 了 形象 地 说 明 本 书 理论 内 容 的 交互 计 草 机 显示 图 像 示 例 及 
基于 OpenCV 的 图 像 处 理 编程 示 例 。 某 些 章 节 介 绍 的 内 容 既 可 以 作为 独立 的 技术 产生 用 户 所 需 的 输出 ， 满 足 用 户 需 求 ， 也 可 以 作 
为 对 后 续 的 菜 些 信息 进行 处 理 的 预 处 理 。 


在 介绍 完 DpenCV 编 程 基础 知识 之 后 ， 本 书 讲 述 了 图 像 处 理 的 主干 内 容 。 全 书 共 分 为 7 章 ， 全 面 系统 地 讲述 了 图 像 处 理 领 域 
中 的 核心 内 容 ， 包 括 : 构建 图 像 处 理工 具 、 图 像 增强 、 图 像 校 正 、 形 态 学 运算 、 图 像 金字 塔 、 几 何 变换 、 颜 色 空 间 、 颜 色 变 换 、 
视频 稳定 性 、 图 像 拼 接 、 图 像 合 成 、 计 算 摄 影 学 、 加 速 图 像 处 理 等 。 为 便于 学 习 与 实践 ， 本 书 提 供 了 示例 算法 的 编码 实现 ， 详 尽 
地 介绍 了 基于 OpenCV 进 行 图 像 处 理 编程 的 技术 和 方法 。 


全 书 结构 紧 姿 ， 内 容 深 入 浅 出 ， 讲 解 以 及 编程 实例 图 文 并 成 ， 可 作为 图 像 处 理 方面 科技 人 员 、 研 发 人 员 及 在 应 用 中 以 图 像 处 
理 作为 工具 的 实践 工程 师 的 参考 手册 。 本 书 同样 适合 计 彰 机 、 通 信和 自动 化 等 相关 专业 的 本 科 生 、 研 究 生 阅读 。 


为 了 能 够 更 准确 地 翻译 本 书 ， 我 们 查阅 了 很 多 有 关 图 像 处 理 和 OpenCV 等 内 容 的 中 英文 资料 。 本 书 从 翻译 到 审 校 直至 最 终 成 
稿 历时 4 个 多 月 ， 限 于 译 校 者 水 平 所 限 ， 译 文中 不 当 之 处 ， 奶 请 读者 批评 指正 。 


本 书 是 重庆 邮电 大 学 刘 冰 老师 在 重庆 大 学 攻读 博士 学 位 期 间 ， 与 博士 生 寻 师 朱 征 宇 教授 共同 合作 完成 的 一 部 译 闭 。 刘 冰 翻 译 
完 本 书 ， 朱 征 宇 教授 对 全 书 进 行 了 译 校 和 审定 。 在 翻译 过 程 中 ， 重 庆 大 学 的 张 瑞 、 洪 晓 璐 、 夏 书 银 、 王 想 等 肯 士 也 提出 了 宝贵 的 
意见 并 参与 了 部 分 章节 的 审 校 工作 。 最 后 还 要 感谢 机 械 工 业 出 版 社 各 位 认真 审 校 的 编辑 ， 是 他 们 的 严格 要 求 才 让 本 书 得 以 高 质量 
出 版 。 
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作者 简介 


Gloria Bueno Garcfa， 拥 有 英国 考 文 重大 学 机 器 视觉 博 士 学 位 ， 曾 在 多 个 研究 中 心 担任 首 席 研究 员 ， 比 如 ， 法 国 国 家 科学 研究 
中 心 /路 易 巴 斯 德 大 学 (法 国 斯 特 拉 斯 堡 ) 的 UMR 7005 研 究 所 ， 吉 人 尔 伯 特 .吉尔 克 斯 与 六 登 技 术 中 心 (英国 ) , BME 
中 欧 技术 研究 院 (西班牙 ) 等 。 她 拥有 两 项 发 明 专 利 、 一 项 软件 注册 权 和 100 多 篇 期 刊 论文 ,主要 研究 方向 为 二 维 / 三 维 多 模 态 图 
像 处 理 和 人 工 智 能 。 她 是 卡 斯 营利 亚 - 拉 曼 恰 大 学 VISILAB 研 究 小 组 的 负责 人 ， 与 人 合 闭 了 由 Packt 出 版 社 出 版 的 关于 移动 设备 
OpenCV 编 程 的 《OpenCV Essentials》 一 书 。 


本 书 献 给 我 的 儿子 们 ， 由 于 工作 繁忙 使 得 我 没有 时 间 能 够 陪 他 们 玩 要 ; 本 书 也 献 给 我 的 父母 ， 感 谢 他 们 在 我 的 生命 中 无 条 件 
的 支持 。 同 时 感谢 Gloria 和 Oscat。 


Oscar Deniz Suarez， 研 究 方向 主要 集中 在 计算 机 视觉 和 模式 识别 方面 ， 发 表 期 刊 和 会 议论 文 50 多 篇 ， 荣 获 由 AERFAI 组 织 
的 关于 计算 机 视觉 和 模式 识别 研究 最 佳 博士 工作 亚军 和 由 Innocentive 公 司 组 织 的 图 像 文 件 及 重新 格式 化 软件 挑战 奖 ， 并 进入 2009 
年 Cor Baayen 大 赛 全 国 决赛 获 入 围 奖 。 他 的 研究 成 果 由 Existor、Gliif、Tapmedia、E-Twenty 等 前 沿 公 司 采 用 ， 并 且 已 经 被 添加 到 
OpenCV 中 。 目 前 ， 他 是 卡 斯 蒂 利 亚 - 拉 有 曼 恰 大 学 的 副教授 ， 并 加 入 到 VISILAB 研 究 小 组 。 他 是 IEEE 的 高 级 会 员 ， 并 隶属 于 
AAAI、SIANI、CEA-IFAC、AEPIA 和 AERFAI-TAPR。 他 是 PLoS ONE 期 刊 的 学 术 编 辑 ， 卡 内 基 - 梅 隆 大 学 、 伦 敦 帝 国 理工 学 院 和 
莱卡 生物 系统 公司 的 客座 研究 员 ， 曾 与 人 合作 完成 了 两 本 有 关 OpenCV 的 书籍 。 


JoséLuis Espinosa Aranda， 拥 有 卡 斯 带 利 亚 - 拉 曼 恰 大 学 计算 机 科学 专业 的 博士 学 位 。 他 的 博士 学 位 项 目 获 得 了 2009 年 度 
西班牙 Certamen Universitario Arquímedes de Introducción a la Investigación cientifica 提 名 奖 (入 围 奖 ) 。 研 究 方向 包括 计算 机 视 党 、 


启发 式 算法 和 运筹 学 ， 目 前 在 VISILAB 研 究 小 组 担任 副 研 究 员 和 计算 机 视觉 领域 的 开发 人 员 。 
本 书 献 给 我 的 父母 和 兄弟 们 。 


Jesus Salido Tercero， 拥 有 西班牙 蕊 德里 工业 大 学 电气 工程 学 位 和 博士 学 位 (1996) 。 之 后 ， 他 在 (美国 匹 座 堡 ) FAK 
梅 隆 大 学 机 器 人 研究 所 做 了 两 年 的 访问 学 者 ， 从 事 协 作 多 机 器 人 系统 研究 。 在 回 到 西班牙 卡 斯 带 利 亚 - 拉 曼 恰 大 学 后 ， 他 将 时 间 
花 在 了 机 器 人 和 工业 信息 学 课程 的 教学 上 ， 同 时 也 在 进行 视觉 和 智能 系统 的 研究 。 在 过 去 的 三 年 里 ， 他 专心 致力 于 开发 移动 设备 
上 的 视 党 应 用 ， 并 与 人 合 著 了 一 本 关于 移动 设备 OpenCV 编程 的 书 。 


本 书 献 给 我 所 亏欠 的 人 : 我 的 父母 ，Sagrario 和 Maria。 


Ismael Serrano Gracia，2012 年 在 卡 斯 蒂 利 亚 - 拉 曼 恰 大 学 获 计 算 机 科学 专业 学 位 。 他 的 最 终 学 位 项 目 “ 人 物 检 测 ” 获 得 了 
最 高 分 数 ， 这 项 应 用 使 用 了 具有 OpenCV 库 的 深度 相机 。 他 现在 在 卡 斯 带 利 亚 - 拉 曼 恰 大 学 攻读 博士 学 位 ， 并 获得 了 西班牙 科学 研 
究 院 的 研究 项 目 资 助 。 他 还 是 VISILAB 研 究 小 组 的 副 研 究 员 ， 并 从 事 不 同 的 计算 机 视觉 领域 研发 工作 。 


本 书 献 给 我 的 父母 ， 他 们 给 了 我 接受 教育 的 机 会 并 一 直 支 持 我 。 还 要 献 给 我 的 导师 : Oscar Deniz 博 士 ， 他 是 我 的 良师益友 。 
最 后 ， 献 给 我 的 朋友 和 女 朋 友 ， 在 我 完成 本 书 的 过 程 中 他 们 给 予 我 不 少 的 帮助 。 


Noelia Vállez Enano， 从 小 就 喜欢 电脑 ， 尽 管 那 时 她 还 不 到 十 五 岁 。2009 年 ， 她 完成 了 在 卡 斯 带 利 亚 - 拉 曼 恰 大 学 计算 机 科 

学 专业 的 学 习 ， 并 以 优异 的 成 绩 毕 业 。 她 开始 在 VISILAB 小 组 时 从 事 乳 腺 久光 检查 CAD 系 统 和 电子 健康 记录 。 之 后 ， 她 获得 了 物 

理 和 数学 专业 的 硕士 学 位 ， 并 已 报名 开始 攻读 博士 学 位 。 她 的 工作 涉及 应 用 图 像 处 理 和 模式 识别 方法 ， 她 还 喜欢 从 事 有 关 人 工 知 
能 的 其 他 一 些 领域 的 教学 和 研究 工作 。 


Walter Lucetti， 互 联网 上 知名 的 Myzhaf， 是 意大利 的 一 个 计算 机 工程 师 ， 主 攻 机 器 人 和 机 器 人 感知 。 他 2005 年 获得 学 士 学 
位 ， 同 时 在 意大利 比萨 城 的 “了 .Piagsio ”研究 中 心 从 事 研究 ， 在 这 里 ， 他 写 了 一 篇 关于 现实 生活 中 3D 映 射 的 论文 ， 其 中 使 用 一 个 


随 伺 服 电机 倾斜 的 2D 激 光 的 论文 。 在 写 该 论文 时 ， 他 第 一 次 接触 OpenCV， 那 是 在 2004 年 ，OpenCV 正 处 于 萌芽 期 。 


在 取得 硕士 学 位 之 后 ， 他 开始 从 事 底 层 座 入 式 系 统 和 高 层 虽 面 系统 的 软件 开发 工作 。 作 为 意大利 拉 斯 佩 齐 亚 Gustavo Stefanini 


高 级 机 器 人 中 心 ( 素 属于 意大利 圣 安 娜 高 等 学 校 PERCRO 实 验 室 ) 的 研究 员 ， 他 学 习 了 很 多 计算 机 视觉 和 机 器 学 习 方面 的 知识 。 


目前 ， 他 在 软件 行业 工作 ， 为 谱 入 式 ARM 系 统 编 写 固件 ， 为 基于 Qt 框架 的 吕 面 系统 编写 软件 ， 并 为 基于 OpenCV 和 CUDA 的 


视频 监控 系统 编写 智能 算法 。 


他 还 在 研发 个 人 机 器 人 项 目 “MyzharBot 。MyzharBot 是 一 个 跟踪 地 面 移动 机 器 人 的 项 目 ， 使 用 计算 机 视觉 来 检测 障碍 并 分 


析 和 探索 环境 。 机 器 人 用 基于 ROS、CUDA 和 OpenCV 的 算法 来 控制 。 可 以 在 网 站 http://myzhatbot.robot-home.it 跟 进 这 个 项 目 。 
Andréde Souza Moreira， 拥 有 计算 机 科学 专业 硕士 学 位 ， 在 巴西 里 约 热 内 卢 的 天 主教 大 学 主攻 计算 机 图 形 学 。 


他 拥有 巴西 马 拉 尼 昂 联 邦 大 学 (UFMA) 计算 机 科学 专业 学 士 。 在 攻读 学 士 学 位 期 闻 ， 他 是 Labmint 研 究 团 队 的 成 员 ， 并 从 事 
医学 成 像 研究 ， 专 攻 采 用 图 像 处 理 技术 进行 乳腺 癌 的 检测 和 诊断 。 


目前 ， 他 是 Tecgraf 研 究 所 的 一 名 研究 员 和 系统 分 析 员 ， 该 研究 所 是 巴西 计算 机 图 形 学 主要 的 研究 与 开发 实验 室 之 一 。 从 2007 
年 开始 ， 他 一 直 和 致力 于 使 用 PHP、HTML 和 和 CSS 进行 广泛 的 研发 工作 。 现 在 ， 他 使 用 C++11/C++14 以 及 结合 SQLite、Qt、Boost 和 
OpenGL 开 发 项 目 。 可 以 从 他 的 个 人 网 站 www.andtedsm.com 获 得 更 多 有 关 他 的 信息 。 


Marvin Smith， 目 前 是 国防 工业 领域 的 一 名 软件 工程 师 ， 专 攻 摄 影 测 量 与 各 感 技术 。 他 在 内 华 达 大 学 雷诺 分 校 获 得 计算 机 
科学 专业 的 理学 学 士 学 位 ， 技 术 方向 包括 : 高 性 能 计算 、 分 布 式 图 像 处 理 和 多 频谱 图 像 的 开发 。 在 国防 部 工作 之 前 ，Marvin 曾 
美国 宇航 局 (NASA) 艾 姆 斯 研究 中 心 的 智能 机 器 人 团队 和 内 华 达 汽车 测试 中 心 实习 。 


OpenCV， 可 以 说 是 使 用 最 广泛 的 计算 机 视觉 库 ， 它 包括 几 百 个 易 用 的 图 像 成 像 和 视觉 函数 ， 既 可 用 于 学 术 研 究 ， 也 可 用 于 
工业 领域 。 随 着 摄像 机 越 来 越 便 宜 和 对 影像 学 特征 需求 的 增长 ， 无 论 是 对 于 台式 机 还 是 移动 平台 ，OpenCV 的 应 用 范围 都 有 了 显 


著 增 长 。 


本 书 结合 示例 讲述 OpenCV 的 主要 图 像 处 理 算法 。OpenCV 方 面 的 其 他 书籍 试图 说 明 其 基础 理论 ， 或 提供 接近 完整 的 大 型 应 
用 程序 示例 ， 而 本 书 则 针对 这 样 的 读者 而 编写 : 他 们 想 要 尽量 快速 地 得 到 一 个 易于 理解 的 工作 示例 ， 并 可 能 在 此 基础 上 开发 一 些 
附加 功能 。 


本 书 以 一 个 介绍 性 的 章节 作为 开始 ， 说 明 库 的 安装 ， 描 述 库 的 结构 ， 并 给 出 基本 图 像 和 视频 的 读 取 与 写 入 示例 。 随 后 的 章节 
包括 以 下 一 些 内 容 : 图 像 和 视频 的 处 理 ， 基 本 图 像 处 理工 具 ， 校 正和 增强 图 像 ， 顾 色 、 视 频 处 理 以 及 计算 摄影 学 。 最 后 但 同样 重 


要 的 章节 介绍 一 些 高 级 特性 ， 例 如 基于 GPU 的 加 速 。 本 书 对 最 新 的 主要 版 本 OpenCV 3 中 的 新 功能 和 技术 进行 了 全 面 的 说 明 。 


本 书包 含 的 内 容 
第 1 章 展示 如 何 读 取 图 像 和 视频 文件 。 该 章 还 介绍 了 基本 的 用 户 交 互 工具 ， 这 些 工 具 在 图 像 处 理 中 非常 有 用 ， 可 用 于 更 改 参 


数值 、 选 择 感 兴趣 区 域 等 。 
第 2 章 讲 述 在 后 续 章 节 中 所 需要 的 一 些 主 要 数据 结构 和 基本 过 程 。 


第 3 章 介 绍 用 于 校正 图 像 缺 陷 的 一 些 典 型 变换 。 该 草包 括 滤 波 、 使 用 查找 表 的 点 变换 、 几 何 变换 ， 以 及 关于 图 像 修 复 和 图 像 


第 4 章 讨 论 图 像 处 理 中 的 颜色 话题 。 该 章 讲 述 如 何 使 用 不 同 的 颜色 空间 ， 以 及 如 何在 两 幅 图 像 之 间 进 行 颜色 空间 的 转换 。 
第 5 章 包 括 用 于 视频 或 图 像 序列 处 理 的 一 些 技术 。 该 章 重 点 介绍 有 关 视 频 稳定 、 超 分 辨 率 和 图 像 拼 接 的 一 些 算 法 的 实现 。 
第 6 章 介 绍 如 何 读 取 HDR 图 像 ， 以 及 如 何在 其 上 进行 色调 映射 。 


第 7 章 包括 图 像 处 理 中 的 一 个 重要 话题 : 速度 。 对 于 降低 图 像 处 理 任务 消耗 的 时 间 ， 现 代 GPU 是 最 佳 的 技术 。 


阅读 本 书 所 需 的 知识 


本 书 旨 在 通过 一 些 实用 的 图 像 处 理 项 目 教 大 家 学 习 OpenCV 的 图 像 处 理 技术 。 本 书 将 使 用 OpenCV 的 最 新 版 本 3.0。 


每 一 章 都 提供 了 许多 易 用 的 示例 ， 用 于 说 明 所 涉及 的 一 些 概 念 。 因 此 ， 本 书 的 重点 集中 在 尽快 地 提供 一 个 可 行 示例 ， 以 便 读 
者 可 以 在 此 基础 上 开发 一 些 附 加 功能 。 


要 使 用 本 书 ， 只 需 有 免费 软件 即 可 。 书 中 所 有 的 示例 都 是 使 用 现 有 免费 的 Qt Creator IDE 和 GNU/GCC 编 译 器 完成 开发 与 测试 
的 。 还 采用 了 CMake 工 具 ， 以 便 在 其 目标 平台 上 配置 OpenCV 库 的 构建 过 程 。 此 外 ， 在 第 7 章 中 给 出 的 GPU 加 速 示例 ， 还 需要 免费 


的 OpenCL SDK. 


本 书 适 合 的 读者 


本 书 适 合 已 经 了 解 C++ 编 程 并 且 想 要 学 习 如 何 使 用 OpenCV 进 行 图 像 处 理 的 读者 阅读 。 应 该 具备 最 起 码 的 图 像 处 理 理 论 背景 


知识 。 本 书 并 不 涉及 与 计算 机 视觉 关系 更 为 密切 的 话题 ， 例 如 ， 特 征 和 对 象 检 测 、 追 踪 或 机 器 学 习 。 有 | 


1] 本 书 相 关 资 料 的 下 载 ， 请 登录 华章 网 站 www.hzbook.como。 


第 1 章 “处理 图 像 文 件 和 视频 文件 


本 章 概述 OpenCV 及 其 安装 以 及 第 一 个 基本 程序 ， 将 介绍 如 下 一 些 内 容 : 


- 为 初学 者 简略 介绍 OpenCV， 接 着 给 出 一 个 简单 易学 的 库 的 安装 步骤 指南 。 


. 在 完成 用 户 本 地 硬盘 上 的 安装 之 后 ， 快 速 了 解 一 下 OpenCV 的 结构 。 
. 快速 掌握 使 用 具有 某 些 通用 编程 框架 的 库 来 创建 项 目的 方法 。 
. 如 何 使 用 函数 读 、 写 图 像 和 视频 。 


最 后 ， 介 绍 如 何 通过 库 函 数 为 软件 项 目 添加 丰富 的 用 户 界面 ， 包 括 鼠 标 交 互 、 基 本 绘图 形 以 及 Qt 支持 。 


1.1 OpenCV 介 绍 


OpenCV (Open Source Computer Vision， 开 源 计 算 机 视 癌 类 库 ) 最 初 由 Intel 开 友 ， 是 一 个 进行 实时 图 像 处 理 的 免费 跨 
平台 库 ， 对 于 一 切 与 计算 机 视觉 有 关 的 事务 处 理 ，OpenCV 已 经 成 为 一 个 实际 上 的 标准 库 工具 。OpenCV 的 第 一 版 于 2000 年 正 
式 发 布 ， 获 得 了 BSD 许 可 。 从 那 时 起 ， 在 该 科学 研究 领域 ，OpenCV 的 功能 已 经 非常 丰富 。2012 年 ， 非 盈利 组 织 OpenCV.org 
开始 负责 为 开 皮 者 和 用 户 维护 一 个 文 持 网 站 。 


Qua 在 编写 本 书 时 ， 一 个 新 的 OpenCV (3.0 版 本 ) 主要 版 本 已 经 可 用 ， 但 仍 在 测试 状态 。 本 书 将 介绍 这 个 新 版 本 带 来 
的 最 新 相关 变化 。 


OpenCV 对 大 部 分 流行 的 操作 系统 可 用 ， 例 如 : GNU/Linux, OS X、Windows、Android、iOS 等 。 第 一 次 实现 时 使 用 的 
是 程序 设计 语言 ; 但 从 2.0 版 本 开始 ， 由 于 使 用 C++ 实 现 使 得 OpenCV 更 加 流行 。 新 的 立 数 都 是 采用 C++ 语 言 编 写 的 。 然 而 ， 
如 今 的 库 对 于 其 他 编程 语言 (例如 : Java、Python 和 MATLAB/Octave) 提供 了 一 个 完整 的 接口 。 而 且 ， 已 经 开发 出 了 对 其 他 
语言 (例如 : C, RubyfüPerl) 的 封 妆 包 ， 以 喜 励 程序 员 采 用 。 


为 了 使 计算 密集 型 视 党 任务 的 性 能 最 大 化 ，OpenCV 包 括 以 下 支持 : 
` 用 一 个 线程 构建 模块 (Threading Building Block, TBB) 来 支持 多 核 计算 机 上 的 多 线程 一 一 由 Intel 开 发 的 一 个 模板 库 。 


: 用 Intel 处 理 器 上 的 一 个 集成 性 能 函数 库 (Integrated Performance Primitive, IPP) 子 集 来 提升 性 能 。 感 谢 Intel 使 这 些 函 数 在 
3.0 测 试 版 本 上 免费 可 用 。 


` 使 用 计算 统一 设备 架构 (Compute Unified Device Architecture, CUDA) 和 开放 计算 语言 (Open Computing 


Language, OpenCL) 提供 图 形 处 理 器 (Graphic Processing Unit, GPU) 上 的 处 理 接口 。 


OpenCV 的 应 用 包括 分 割 与 识别 、 二 维和 三 维特 征 工具 包 、 对 象 识别 、 人 脸 识 别 、 运 动 跟踪 、 手 势 识 别 、 图 像 拼接 、 高 动态 
范围 (high dynamic range, HDR) 成 像 、 增 强 现实 等 领域 。 另外， 为 了 支持 上 面 某 些 应 用 领域 ， 它 还 包含 了 一 个 具有 统计 机 
器 学 习 功能 的 模块 。 


1.2. 下载 和 安 疼 OpenCV 


在 http://opencv.org 处 可 免费 下 载 获 得 OpenCV， 该 网 站 提供 了 最 新 友 布 的 版 本 (当前 版 本 是 3.0 测 斌 版) 以 及 各 种 老 版 
本 。 


Oza 请 特别 注意 ， 下 载 时 可 能 会 出 现 错误 ， 因 为 发 布 的 还 不 是 一 个 稳定 的 版 本 ， 例 如 ， 当 前 的 3.0 测 试 版 。 


在 网 址 http://opencv.org/downloads.html 可 以 找到 适合 各 种 平台 的 OpenCV 版 本 。 根 据 最 终 目的 ， 可 从 不 同 资 源 存 放 扣 
获取 所 需 的 库 代 码 和 库 信息 : 


` 主 资源 库 (http://sourceforge.net/projects/opencvlibrary) ， 用 于 最 终 用 户 。 它 包括 库 的 二 进 制版 本 以 及 目标 平台 准备 编译 
的 源 代码 。 


> 测试 数据 资源 库 (https://github.com/itseez/opencv_extra) ， 附 带 一 些 数 据 集 ， 可 用 于 测试 菜 些 库 模 块 。 


` 贡献 资源 库 (http://github.com/itseez/opencv_contrib) ， 包 括 了 由 各 个 贡献 者 提供 的 附加 功能 和 最 新 功能 相对 应 的 源 代 
码 。 与 主干 代码 相 比 ， 这 些 代 码 测 试 较 少 且 更 容易 出 错 。 


Qi. 对 于 最 新 版 本 (OpenCV 3.020 JA) ， 在 其 主 包 中 没有 包括 这 些 额 外 的 贡献 模块 。 它 们 需要 单独 下 载 ， 并 通过 正 
确 的 选项 明确 地 包含 在 编译 过 程 中 。 如 果 包 含 那些 贡献 模块 ， 就 要 小 心 谨慎 ， 因 为 它们 中 的 一 些 所 依赖 的 第 三 方 软件 可 能 不 包含 
在 OpenCV 中 。 


- 每 个 模块 的 文档 资料 网 站 (http://docs.opencv.org/master/) 包括 了 上 述 贡 献 模块 。 


“ 开发 资源 库 Chttps://github.com/Itseez/opencv) 具有 库 的 当前 开发 版 本 。 它 适用 于 库 的 主要 功能 的 开发 人 员 以 及 和 希望 在 发 
布 之 前 就 使 用 最 新 更 新 功能 的 “心急 Hp. 


不 同 于 GNU/Linux 和 OS X，OpenCV 只 是 以 源 代 码 的 形式 友 布 ， 在 Windows 的 友 布 版 本 中 ， 可 以 找到 该 库 的 预 编译 版 本 
(采用 Microsoft Visual C++v10、v11 和 v12) 。 每 种 预 编译 版 本 和 Microsoft 编 译 器 一 起 使 用 。 但 是 ， 如 果 主 要 目的 是 使 用 一 
种 不 同 的 编译 框架 开发 项 目 ， 惑 需要 特定 的 编译 器 (例如 : GNU GCC) 编译 该 库 。 


Qaz 配合 OpenCV 工 作 的 最 快捷 路 径 是 使 用 包含 在 发 布 版 本 中 的 预 编译 版 本 之 一 。 之 后 ， 一 个 更 好 的 选择 是 使 用 用 于 软 
件 开发 的 本 地 平台 的 最 佳 设 置 来 建立 库 的 一 个 精确 调制 版 本 。 本 章 提供 了 在 Windows 上 建立 和 安装 OpenCV 的 信息 。 在 Linux 上 设 
置 库 的 更 多 信息 ， 可 以 
在 http://docs.opencv.org/doc/tutorials/introduction/linux_install 和 https://help.ubuntu.com/community/OpenCV 上 找到 。 


1.3 ”OpenCV 的 结构 


一 旦 安装 了 OpenCV， 在 OPENCV_BUILDNinstall 目 录 中 将 加 入 三 种 类 型 的 文件 : 
. 头 文件 : 这 些 文件 位 于 OPENCV_BUILDNinstallNinclude 子 目录 下 ， 用 于 使 用 OpenCV 开 发 新 项 目 。 


库 的 二 进 制 文件 : 这 些 文 件 是 静态 库 或 动态 库 (依赖 于 使 用 CMake 对 选项 的 选择 ) ， 它 们 包含 了 每 个 OpenCV 模 块 的 功 
能 。 这 些 文 件 位 于 bin 子 目录 下 (例如 ， 使 用 GNU 编 译 器 时 ， 位 于 x64\mingw\bin) 。 


“ 示例 二 进 制 文件 : 这 些 文件 使 示例 在 库 下 可 执行 。 这 些 示例 的 源 文 件 可 以 在 源 程序 包 中 找到 ( 例 
Jv, OPENCV_SRC\sources\samples) o 


OpenCV 有 一 个 模块 化 结构 ， 这 意味 着 代码 包 中 包含 了 每 个 模块 的 一 个 静态 库 或 动态 库 (DLL) 。 每 个 模块 的 官方 文档 可 以 
在 http://docs.opencv.org/master 上 找到 。 包 含 在 代码 包 中 的 主 模块 有 : 


:cote: 这 个 模块 定义 了 被 所 有 其 他 模块 和 基本 数据 结构 (包括 重要 的 多 维 数组 Mat) EAH RA BK, 


-highoui: 这 个 模型 提供 简单 的 用 户 接口 (user interface, Ul) 功能 。 使 用 Qt 支持 (WITH, QT CMake 选 项 ) 建立 的 库 允 许 UI 
和 这 样 的 框架 兼容 。 


-imgproc: 这 些 模 块 是 一 些 图 像 处 理子 数 ， 包 括 滤波 (线性 的 和 非 线 性 的 ) 、 几 何 变 换 、 顾 色 空 间 变 换 、 直 方 图 等 。 
-imgcodecs: 这 个 模块 是 一 个 用 于 读 、 写 图 像 的 易 用 接口 。 


Quiz 从 OpenCV 3.0 开 始 模块 中 的 一 些 变化 要 注意 ， 茶 些 功能 已 经 被 移 到 一 个 新 模块 〈 例 如 ， 将 读 取 图 像 函 数 和 写 入 图 


45 xf HK Mhighgui žá A Zi imecodecs) 。 


‘photo: 这 个 模块 包含 计算 摄影 学 ， 涉 及 修 
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E. m 9E (HDR) 图 像 等 。 

stitching: 这 个 模块 用 于 图 像 拼 接 。 

 videoio: 这 个 模块 对 于 视频 捕获 和 视频 编码 器 是 一 个 易 用 的 接口 。 

‘video: 这 个 模块 提供 了 视频 分 析 的 功能 (运动 估计 、 背 景 提取 以 及 对 象 跟踪 ) 。 

features2d: 这 些 模块 是 用 于 特征 检测 〈 角 点 对 象 和 平面 对 象 ) 、 特 征 描述 、 特 征 匹 配 等 的 一 些 函 数 。 

- objdetect: 这 些 模 块 是 用 于 对 象 检 测 和 预定 义 检 测 器 实例 (例如 ， 人 脸 、 眼 睛 、 和 微笑、 人 、 车 等 ) 的 一 些 函 数 。 


其 他 的 一 些 模块 是 calib3d (摄像 机 校准 ) 、flann ( 聚 类 和 搜索 ) 、ml (机 器 学 习 ) 、shape (形状 距离 和 匹配 ) 、 
superres (HODIZ) 、video (视频 分 析 ) 和 videostab (视频 稳定 ) 。 


Quz 在 3.0 测 试 版 中 ， 新 的 贡献 模块 是 在 一 个 独立 的 包 (opencv, contrib-master.zip) 中 发 布 的 ， 可 以 
从 https://github.com/itseez/opencv_contrib 下 载 。 这 些 模块 提供 额外 的 特征 ， 在 使 用 这 些 模块 之 前 应 该 完全 理解 这 些 模 块 。 在 新 
发 布 的 OpenCV (3.0 版 本 ) 中 ， 关 于 新 功能 的 简要 概述 ， 请 参考 http://opencv.org/opencv-3-0-beta.html 文 档 。 


1.4 使 用 OpenCV 创 建 用 户 项 目 
本 书 中 ， 我 们 假定 C+ + 是 图 像 处 理应 用 编程 的 主要 语言 ， 尽 管 实 际 上 也 提供 了 其 他 编程 语言 的 接口 和 封 半 器 ( 例 
如 ，Python、Java、MATLAB/Octave 等 ) 。 


本 节 说 明 如 何 用 OpenCV 的 C++API (一 种 易 用 的 跨 平台 框架 ) 开 友 应 用 。 


1.5 ” 读 取 和 瑟 入 图 像 文 件 


图 像 处 理 依 赖 于 得 到 一 幅 图 像 〈 例 如， 一 张 照片 和 一 个 视频 帧 ) 并 通过 应 用 信号 处 理 技术 的 “播放 ” (playing) 来 得 到 预 
期 的 结果 。 本 节 展 示 如 何 使 用 由 OpenCV 提 供 的 函数 从 文件 中 读 取 图 像 。 


1.6 ” 读 取 和 瑟 入 人 钢 频 文件 


视频 处 理 的 是 运动 图 像 ， 而 不 是 静止 图 像 。 视 频 资 源 可 以 是 一 个 专用 摄像 机 、 网 络 摄像 头 、 视 频 文 件 或 图 像 文件 序 询 。 在 
OpenCV 中 ，VideoCapture 类 和 VideoWriter 类 为 视频 处 理 中 所 涉及 的 捕获 和 记录 任务 提供 了 一 个 易 用 的 C++APIl。 


1.recVideo 示 例 代码 


recVideo 示 例 是 一 个 信 短 的 代码 片段 ， 使 您 可 以 了 解 如 何 使 用 一 个 默认 摄像 机 作为 一 个 捕捉 设备 ， 来 抓 取 帧 ， 对 它们 进行 
边缘 检测 ， 并 且 将 新 的 转换 视频 帧 作为 一 个 文件 保存 。 而 且 ， 创 建 两 个 窗口 同时 显示 原始 帧 和 处 理 过 的 帧 。 该 示例 的 代码 为 : 


#include <opencv2/opencv.hpp> 


#include <iostream> 


using namespace std; 


using namespace cv; 


int main(int, char **) 


{ 


Mat in frame, out frame; 


const char winl[]="Grabbing...", win2[]="Recording... 


double fps-30; // 每 秒 的 帧 数 
char file out[]="recorded .avi"; 


VideoCapture inVid(0); // 打开 默认 摄像 机 
if (!inVid.isOpened()) { // 检查 错误 
cout << "Error! Camera not ready...\n"; 
return -1; 
} 
// 获取 输入 视频 的 宽度 和 高 度 
int width = (int)inVid.get(CAP PROP FRAME WIDTH); 
int height - (int)inVid.get(CAP PROP FRAME HEIGHT); 


VideoWriter recVid(file out, 
VideoWriter::fourcc('M','8','v','c"), 
fps, Size(width, height)); 

if (!recVid.isOpened()) | 
cout << "Error! Video file not opened...\n"; 
return -1; 


} 

// 为 原始 视频 和 最 终 视频 创建 两 个 窗口 
namedWindow (winl); 
namedWindow (win2); 


while (true) { 
// FBR oh ( 抓 取 并 解码 ) 


inVid >> in frame; 
// 将 帧 转换 为 灰 度 
ya ap _frame, out frame, COLOR BGR2GRAY) ; 
// 将 帧 写 入 视频 文件 (编码 并 保存 ) 
recVid << out frame; 
imshow(winl, in frame); // u0 t E 7 mM 
imshow (win2, out frame); // 在 窗口 中 显示 帧 
if (waitKey(1000/fps) >= 0) 
break; 
} 


inVid.release(); // 关闭 摄像 机 
return 0; 


TEATRO, BOAR S — RA Rix ERM: 


: double VideoCapture: : get (int propId) : 这 个 函数 为 一 个 VideoCaptute 对 象 返回 指定 的 属性 值 。 在 videoio.hpp 头 文件 中 包 


念 了 基于 DC1394 (IEEE 1394 数 码 相 机 规范 ) 属性 的 一 个 完整 列表 。 


- static int VideoWriter: : fourcc (charcl, charc2, charc3, charc4) : 这 个 函数 把 四 个 字符 连接 起 来 形成 一 个 fouftcc 码 。 在 


示例 中 ，MSVC 代 表 微 软 视频 〈 仅 在 Windows 上 可 用 ) 。 有 效 的 fourcc 码 列表 被 发 布 在 http://www.foutrcc.org/codecs.php 上 。 


- bool VideoWriter: : isOpened () : 如 果 写 入 视频 的 对 象 被 成 功 初 始 化 ， 这 个 函数 返回 true。 例 如 ， 使 用 一 个 不 正确 的 编 


解码 器 会 产生 一 个 错误 。 


Qu. 注意 在 一 个 系 统 中 有 效 的 foutcc 码 依赖 于 本 地 安装 的 编 解码 器 。 为 了 了 解 在 本 地 系统 中 安装 的 fourcc 编 解码 器 是 
否 可 用 ， 推 荐 http://mediaarea.net/en/Medialnfo 上 对 很 多 平台 都 可 用 的 开源 工具 Medialnfo。 


- VideoCapture&VideoCapture: : operator>> (Mat&image) : BIR, ALELOEiA DT — Wb. NAIK AeA MR HK 
VideoCapture: : read (OutputA rray image) A4. T VAS RE 3X LAS ds AC 3 FF JA dg A VideoCaptute: : grab () ， 然 后 使 用 


VideoCapture: : retrieve (s 


- VideoWriter&VideoWriter: : operator<< (const Mat&image) : RP BREA —Wb. RPA Aeg BH RVideoWriter: 


write (const Mat&image) 等 价 


在 本 示例 中 ， 有 一 个 读 取 / 写 入 循环 ， 可 同时 地 获取 并 处 理 窗口 事件 。waitKey (1000/fps) 函数 调用 负责 执行 这 个 任务 。 
在 这 个 示例 中 ，1000/fps 表 示 返 回 外 部 循环 之 前 等 待 的 毫秒 数 。 尽 管 不 精确 ， 但 对 于 录制 的 视频 仍 能 获取 每 秒 帧 数 的 一 个 近似 


:= 二 
2E, 


二 


- void VideoCaptute: : release () : 这 个 函数 释放 视频 文件 或 采集 设备 。 尽 管 在 本 示例 中 没有 必要 显 式 地 包含 ， 但 为 了 说 
明 它 的 使 用 ， 示 例 中 仍 包 含 了 这 个 函数 。 


前 面 几 节 介绍 了 如 何 创 建 窗 口 (namedWindow) 来 显示 (imshow) 一 幅 图 像 和 提取 /处 理事 件 (waitKey) 。 我 们 提供 
的 示例 展示 了 一 种 通过 键盘 使 用 OpenCV 应 用 进行 用 户 交 互 的 简单 方法 。waitKey 国 数 在 超时 之 前 会 返回 一 个 按键 编码 。 


幸运 的 是 ，OpenCV 为 用 户 交互 提供 了 更 为 灵活 的 方式 ， 例 如 ， 滑 动 条 和 鼠标 交互 ， 它 们 可 以 和 某 些 绘图 功能 结合 提供 丰富 
的 用 户 体验 。 而 且 ， 如 果 使 用 Qt 支持 (CMake 的 WITH_QT 选 项 ) 对 OpenCV 进 行 本 地 编译 ， 那 么 一 组 新 函数 可 用 来 编写 一 个 更 
好 的 用 户 界面 (UI) 。 


本 节 给 出 一 个 快速 绿 述 来 说 明 ， 在 使 用 Qt 支持 的 一 个 OpenCV 项 目 中 ， 编写 用 户 界 面 的 可 用 功能 。 下 面 使 用 一 个 名 为 
showUI 的 示例 ， 在 OpenCV 界 面 支 持 下 对 上 述 综述 进行 说 明 。 


该 示 例 展示 了 一 个 窗口 中 的 一 幅 彩 色 图 片 ， 说 明 如 何 使 用 某 些 基本 元 素来 丰富 用 户 交 互 。 图 1-6 显 示 了 在 该 示例 中 创建 的 UI 


| E 0 5, Text added Trackbar and buttons © 
Text added | to image MEM (Properties window) ， 
to image 


Rectangle drawn fj 
on image | 


图 1-6 ”showUI 示 例 的 输出 窗口 


showUI 示 例 (没有 回调 遂 数 ) 的 源 代码 如 下 : 


#include <opencv2/opencv.hpp> 
#include <iostream> 

using namespace std; 

using namespace cv; 


// 回调 函数 声明 

void cbMouse(int event, int x, int y, int flags, void*); 
void tbi Callback(int value, void *); 

void tb2 Callback(int value, void *); 

void checkboxCallBack(int state, void *); 

void radioboxCallBack(int state, void *id); 

void pushbuttonCallBack(int, void *font); 


// 全 局 定义 和 变量 

Mat orig img, tmp img; 

const char main win[]="main win"; 
char msg[50]; 


int main(int, char* argv[]) { 
const char trackl[]s"TrackBar 1"; 
const char track2[]s"TrackBar 2"; 
const char checkbox[]="Check Box"; 


const char radioboxl[]zs"Radio Boxl"; 
const char radiobox2[]z"Radio Box2"; 
const char pushbutton[]s"Push Button"; 
int tbl value = 50; // trackbar 1 的 初始 值 
int tb2 value - 25; // trackbar 2 的 初始 值 


orig img = imread(arqv[11); // 打开 并 读 取 图 昼 
if (orig img.empty()) [| 
cout << "Error!!! Image cannot be loaded..." << endl; 
return -1; 
) 
namedWindow(main win); // Creates main window 
// 为 添加 到 图 像 中 的 文本 创建 字体 
QtFont font = fontQt("Arial", 20, Scalar(255,0,0,0), 
QT FONT BLACK, QT STYLE NORMAL) ; 
// 回调 函数 的 创建 
setMouseCallback(main_win, cbMouse, NULL) ; 
createTrackbar(trackl, main win, &tbl value, 
100, tbi Callback); 
createButton(checkbox, checkboxCallBack, 0, 
QT CHECKBOX); 
// 将 值 (font) f£3$ CallBack 
createButton (pushbutton, pushbuttonCallBack, 
(void *)&font, OT PUSH BUTTON) ; 
createTrackbar(track2, NULL, &tbz value, 
50, tb2 Callback); 
// THE fib CallBack 
createButton(radioboxl, radioboxCallBack, 
(void *)radioboxl, QT RADIOBOX) ; 
createButton(radiobox2, radioboxCallBack, 
(void *)radiobox2, QT RADIOBOX) ; 


imshow(main win, orig img); // 显示 原始 图 您 
cout «« "Press any key to exit..." «« endl; 


waitKey(); // 事件 的 无 限 循 环 处 理 


return 0; 


当 使 用 Qt 支持 建 YOpenCV 时 ， 每 个 所 创建 的 窗口 (通过 highgui 模 块 ) 显示 了 一 个 默认 工具 栏 ( 见 图 1-6) ， 市 有 平移 、 
缩放 、 保 存 和 打开 属性 窗口 的 选项 (MEEA) 。 


除了 上 述 提 到 的 工具 栏 〈 仪 在 Qt 上 可 用 ) ， 下 面 几 节 将 说 明 在 该 示例 中 创建 的 各 种 UI 元 素 和 实现 这 些 UI 元 素 的 代码 。 


1.8 人 小结 


本 草 快速 综述 了 OpenCV 库 及 其 模块 的 主要 用 途 。 学 习 了 如 何 编译 、 安 六 和 在 本 地 系统 中 使 用 库 的 基础 知识 来 开 友 具有 Qt 
支持 的 C++OpenCV 应 用 。 为 了 开 友 目 己 的 软件 ， 本 章 讲 解 了 怎样 局 动 免 费 的 Qt 生成 器 IDE 和 和 GNU 编译 工具 包 。 


作为 开始 ， 本 章 提 供 了 完整 的 代码 示例 。 这 些 示例 展示 如 何 读 取 和 写 入 图 像 与 视频 。 最 后 ， 本 章 给 出 在 OpenCV 程 序 中 显示 
一 些 易于 实现 的 用 户 交 互 功能 的 示例 ， 例 如 滑动 条 、 按 钮 、 在 图 像 上 放 入 文本 、 绘 制 形状 等 。 


下 一 章 将 重点 放 在 建立 主要 图 像 处 理工 具 和 任务 ， 为 学 习 其 余 各 章 莫 定 基础 。 


第 2 草 ”构建 图 像 处 理工 具 


本 章 介绍 在 后 续 章 节 中 将 用 到 的 一 些 主要 数据 结构 和 基本 过 程 
Bm 

` 像素 访问 

:图像 基本 操作 

直方 图 


这 些 是 我 们 将 在 图 像 上 执行 的 一 些 最 常见 的 操作 。 这 里 所 涉及 的 大 部 分 功能 都 是 库 中 的 核心 模块 。 


2.1 基本 数据 类 型 


OpenCV 中 的 基本 数据 类 型 是 Mat， 用 来 存储 图 像 。 总 体 上 讲 ， 一 幅 图 像 被 保存 为 一 个 头 加 上 一 个 包含 像素 数据 的 内 存 区 。 
图 像 有 若干 个 通道 。 灰 度 图 像 有 一 个 通道 ， 而 彩色 图 像 通 常 有 红 、 绿 和 蓝 三 个 构成 成 分 (但 是 OpenCV 以 其 逆序 ， 即 蓝 、 绿 和 红 
来 存储 这 三 个 分 量 ) ， 还 可 以 使 用 第 四 个 透明 度 (alpha) 通道 。 可 以 用 img.channels () 获取 一 幅 img 图 像 的 通道 数 。 


使 用 若干 个 位 来 存储 一 幅 图 像 的 每 个 像素 ， 这 被 称 为 图 像 深 度 (image depth) 。 对 于 灰 度 图 像 ， 像 素 通常 存储 为 8 位 ， 
此 允许 256 个 灰 度 级 (从 整数 值 0 到 255) 。 对 于 彩色 图 像 ， 每 个 像素 仓储 为 3 个 字 节 ， 每 个 颜色 通道 占用 一 个 字 节 。 某 毕 操作 必 
须 以 浮 点 格式 存储 像素 。 可 以 使 用 mg.depth () 获取 图 像 深 度 ， 其 返回 值 是 : 


* CV_8U，8 位 无 符号 整数 (0~255) 


: CV_8S，8 位 有 符号 整数 (-128~127) 


: CV. 16U, 16424475 #2 (0~65535) 

: CV 16S, 16424 f HK (-32768~32767) 

- CV_32S，32 位 有 符号 整数 (-2147483648~2147483647) 
- CV_32F，32 位 浮 点 数 

- CV_64F，64 位 浮 点 数 


注意 ， 对 于 灰 度 图 像 和 彩色 图 像 ， 最 常见 的 图 像 深度 是 CV_8U。 使 用 方法 convertTo 可 以 将 一 种 图 像 深度 转换 为 另 一 种 图 像 


Mat img = imread("lena.png", IMREAD GRAYSCALE) ; 
Mat fp; 
img.convertTo(fp,CV 32F); 


在 浮 后 图 像 上 进行 操作 ( 即 像素 值 是 数学 运算 的 结果 ) 是 很 常见 的 。 如 果 使 用 imshow () 显示 这 幅 图 像 ， 将 不 会 看 到 任何 
意义 的 内 容 。 在 这 种 情况 下 ， 必 须 将 像素 转换 到 0~255 整 数学 围 。 消 数 convertTo 实 现 一 种 线性 变换 并 有 两 个 额外 的 参数 
alpha 和 beta， 分 别 表示 增加 一 个 尺度 因子 和 一 个 增 量 值 。 这 意味 着 每 个 像素 p 被 转换 为 : 


newp=alpha*p+beta 


它 可 以 用 来 正确 地 显示 浮 点 图 像 。 假 设 img 图 像 有 最 小 值 n 和 最 大 值 M (参考 下 面 的 代码 ， 看 看 如 何 获取 这 些 值 ) ， 则 我 们 
可 以 使 用 : 


Mat m1 = Mat(100, 100, CV 32FC1); 

randu(ml, 0, 1e6); // 0 和 1e6 之 间 的 随机 值 
imshow("original", m1); 

double minRange,MaxRange; 

Point mLoc,MLoc; 

minMaxLoc (m1, &minRange, &MaxRange, &mLoc, &MLoc) ; 


Mat imgl; 
ml.convertTo(img1,CV 8U,255.0/(MaxRange-minRange),-255.0/minRange); 
imshow("result", imgl); 


这 些 代 码 将 结果 图 像 值 的 范围 映射 到 0~255 范 围 。 图 2-1 显 示 了 运行 该 代码 的 结果 。 


i foriginal Hail craz] 
t> t & @APPRA 
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图 2-1 convertTo$7 25 XX (注意 ， 左 侧 的 图 像 被 显示 为 白色 ) 


使 用 行 属性 和 列 属性 可 以 获取 图 像 的 大 小 。 还 有 一 个 size 属 性 可 获得 二 者 : 


MatSize s = img.size; 
int r=1[0]; 
int c=1[1]; 


除了 图 像 本 身 ， 其 他 数据 类 型 都 很 单 见 ， 请 参考 表 2-1: 


类 0m 5| F 
(Small) VecAB Vec3b rgb: 
vector 其 中 A 可 以 是 2、3、4、5$ 或 6,B 可 以 是 b、s、i、f 或 d rgb[0]=255: 
Scalar a: 
(Up to 4) 
Scalar a[0]-0; 
scalars 
a[1]|-0; 
Point3d p: 
PointAB p.x=0: 
Point - A - i 
其 中 A 可 以 是 2 或 3， B 可 以 是 i、f 或 d p.y=0: 
p.z-0: 


Size s; 
Size Size s.width=30: 
s.height=40: 
Kectr, 
Rectangle Rect r.X-1.y—-0; 
r. width-r.height-100: 


其 中 某 些 类 型 有 附加 操作 。 例 如 ， 可 以 检查 一 个 点 是 否 位 于 一 个 矩形 内 : 


p.inside(r) 


这 里 的 参数 P 和 参数 [分 别 是 点 (二 维 ) FAT. kx, ETET, 22-1FA-RSSERSCHRAY; OpenCV 的 相 天 方法 提供 
了 更 多 的 广 返 结构 。 


2.2 (RAR) 


为 了 处 理 图 像 ， 必 须 了 解 如 何 独立 地 访问 每 个 像素 。OpenCV 提 供 若干 方法 进行 独立 像素 访问 。 在 这 一 节 中 ， 介 绍 两 种 方 
法 : 第 一 种 方法 对 于 程序 员 来 说 很 简单 ， 而 第 二 种 方法 效率 更 高 。 


第 一 种 方法 使 用 模板 尔 数 at< >。 为 了 使 用 这 种 方法 ， 必 须 指定 粉 阵 单元 的 类 型 ,例如 下 面 这 个 简短 示例 : 


Mat srcl = imread("lena.jpg", IMREAD GRAYSCALE) ; 

uchar pixell-srcl.at«uchar»(0,0); 

cout << "Value of pixel (0,0): " << (unsigned int)pixell << endl; 
Mat src2 = imread("lena.jpg", IMREAD COLOR); 

Vec3b pixel2 = src2.at<Vec3b>(0,0); 

cout << "B component of pixel (0,0):" << (unsigned int)pixel2[0] << 
endl; 


ATOR TR EARO cE lI VR, FAIA) (0, 0) 处 的 第 一 个 像素 。 在 第 一 种 情况 中 ， 像 素 类 型 是 无 符号 
f$ ( 即 uchar) 。 在 第 二 种 情况 中 ， 图 像 以 全 色 方 式 读 取 ， 必 须 使 用 Vec3b 类 型 ， 它 指向 一 个 无 符号 字符 的 三 元 组 。 当 然 ，E 
at<> 也 可 以 出 现在 一 个 赋值 符号 的 左 侧 ， 即 改变 一 个 像素 的 值 。 


下 面 是 另 一 个 简短 示例 ， 使 用 这 个 方法 将 浮 点 息 阵 初始 化 为 Pi 值 : 


Mat M(200, 200, CV 64F); 

for(int 1 = 0; 1 < M.rows; i++) 
for(int J = 0; J < M.cols; TFF} 
M.at<double>(i,j)=CV_ PI; 


PLEX 


请 注意 ，at< > 方法 并 不 是 很 有 效 ， 因 为 必须 从 像素 的 行 和 列 计算 出 精确 的 内 人 存 位 置 。 当 逐个 处 理 整 幅 图 像 的 像素 时 ， 是 非 
党 费时 的 。 第 二 种 万 法 使 用 立 数 ptr， 它 返回 指向 图 像 特定 行 的 一 个 指针 。 下 面 的 代码 片段 获取 一 幅 彩 色 图 像 中 每 个 像素 的 像素 


值 : 
uchar R, G, B; 
for (int i = 0; i < src2.rows; i1++) 
Vec3b* pixrow - src2.ptr«Vec3b»(i); 
for (int j = 0; J < src2.cols; j++) 


{ 
B = pixrow[j] [0] ; 
G = pixrow([j] [1]; 
R = pixrow[j] [2]; 


在 上 面 的 示例 中 ，ptr 用 来 得 到 一 个 指向 每 行 中 第 一 个 像素 的 捐 针 。 使 用 这 个 指针 ， 现 在 可 以 在 内 层 循环 中 访问 每 一 列 。 


2.3 ”测量 时 | 站 


处 理 图 像 需 要 时 | 间 ( 相 比 较 而 言 ， 远 远 超过 处 理 一 维 数据 所 化 费 的 时 间 ) 。 通 常 ， 处 理 时 间 是 判定 一 种 解决 方案 是 否 切 实 可 
行 的 天 键 因 素 。OpenCV 提 供 两 个 孙 数 测量 耗 用 时 间 : getTickCount () 和 getTickFrequency () 。 可 以 这 样 使 用 这 两 个 冰 


aq: 


double tO = (double) getTickCount i); 
// 把 耗 用 时 间 的 测量 值 放 到 这 里 
elapsed = ((double)getTickCount() - t0)/getTickFrequency () ; 


此 处 ，elapsed 单 位 为 秒 。 


24 图 像 的 单 用 操作 


表 2-2 忌 结 了 图 像 最 典型 的 操作 : 
表 2-2 ”图像 最 典型 的 操作 


操 TE 代码 示例 
img.setTo(0); // 对 于 1 个 通道 的 图 像 
img.setTo(Scalar(B,G,R); // 3 个 通道 的 图 像 
Mat ml = Mat::eye(100, 100, CV 64F); 


MATLAB 风格 的 矩阵 初始 化 Mat m3 = Mat::zeros(100, 100, CV 8UC1); 
Mat m2 = Mat::ones(100, 100, CV 8UC1)*255; 


VE FORE fH 


Mat mi = Mat(100, 100, CV 8UC1); 


随机 初始 化 randu (m1, 0, 255); 

DE B IA fall AS Mat imgl = img.clone(); 

创建 一 个 (HAHEI) 矩阵 的 副本 img.copy(imgi, mask); 

引用 一 个 子 和 矩阵 (不 复制 数据 ) Mat imgl = img (Range (r1,r2),Range(c1,c2)); 
— Rect roi(rl,c2, width, height); 

图 像 裁 前 


Mat imgl = img(roi).clone(); // 数据 拷贝 

调整 图 像 大 小 Perrier C gi Size(), 0.5, 0.5); // 
flip(imgsrc, imgdst, code); 

— LI code=0 => 垂直 翻转 

翻转 图 像 // code>0 => 水 平 翻转 

// code<0 => 垂直 和 水 平 翻转 


( £& ) 
fe 作 代码 示例 
Mat channel [3] ; 
分 割 通 道 split(img, channel) ; 
imshow("B", channel[0]); // 显示 蓝 色 
合并 通道 merge (channel, img) ; 
计算 非 去 像素 数 int nz = countNonZero(img); 
double m,M; 
最 小 但 和 最 大 值 Point mLoc,MLoc; minMaxLoc(img, &m, &M, &mLoc, &ML 
Oc. 
Scalar m, stdd; 
像素 值 均值 meanStdDeví(img, m, stdd); 
uint mean pxl = mean.val[0]; 


从 查 图 像 数据 是 否 为 空 R e dee 


cout «« "couldn't load image"; 


25 ”算术 运算 


算术 运算 是 重 载运 算 。 这 就 意味 着 可 以 在 Mat 图 像 上 执行 和 下 面 这 个 例子 一 样 的 运算 : 
imgblend = 0.2*imgl + 0.8*img2; 


在 OpenCV 中 ， 一 种 运算 的 结果 值 受 到 饱和 运算 (saturation arithmetic) 的 影响 。 这 融 意 味 着 最 终 的 值 实 际 上 是 企 0~255 
范围 内 最 近似 的 一 个 整数 。 


当 用 掩 码 进行 运算 时 ， 位 运算 bitwise and () 、bitwise or () 、bitwise xor () 和 bitwise_not () 非常 有 用 。 掩 码 是 二 
值 图 像 ， 表 示 这 样 一 些 像素 (而 不 是 整 幅 图 像 ) 在 其 上 仪 执 行 一 种 运算 。 下 面 的 bitwise_and 示 例 向 您 展示 如 何 使 用 AND 运 算 剪 
裁 一 幅 图 像 的 一 部 分 : 


#include <opencv2/opencv.hpp> 


using namespace Cv; 
using namespace std; 


int main() 


{ 


Mat imgl = imread("lena.png", IMREAD GRAYSCALE) ; 
if (imgl.empty()) 


| 


cout «« "Cannot load image!" << endl; 


return -1; 


} 
imshow("Original", imgl); // 显示 原始 图 像 


// MRS AR 

Mat mask(imgl.rows, imgl.cols, CV 8UC1, Scalar(0,0,0)); 
circle (mask, Point(imgl.rows/2,imgl.cols/2), 150, 255, -1); 
imshow ("Mask",mask) ; 


// 执行 AND 
Mat xX: 
bitwise and(imgl,mask,r); 


// 用 白色 填充 外 部 


const uchar white = 255; 


for(int i = 0; i < r.rows; i++) 
Ltoriint 7 = Dr; T < r.dGolB8; TK) 
if (!mask.at<uchar>(i,j)) 


r.at«uchar»(i,j)-white; 
imshow("Result",r); 


waitKey(0); 
return 0; 


在 读 取 并 显示 输入 图 像 之 后 ， 通 过 绘制 一 个 全 日 色 的 圆 可 创建 一 个 掩 码 。AND 运 算 会 用 到 这 个 掩 码 。 该 逻辑 运算 只 对 掩 码 
值 非 零 的 那些 像素 进行 ， 其 余 像素 不 会 受到 影响 。 最 后 ， 在 本 示例 中 用 日 色 填 充 生 成 图 像 的 外 部 ( 即 圆 的 外 部 ) 。 在 进行 该 运算 


时 ,使 用 了 之 前 介绍 过 的 一 种 像素 访问 方法 。 由 此 产生 的 图 像 罗 图 2-2: 
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图 2-2 bitwise andzr ^| 8325 XE 


接 下 来 ， 给 出 另 一 个 很 棒 的 示例 ， 估 计 Pi 的 值 。 如 图 2-3 所 示 ， 让 我 们 考虑 一 个 正方 形 及 其 内 接 圆 


L 


图 2-3 正方形 及 其 内 接 贺 


给 出 它们 的 面积 为 : 
T. sects = P p R? 
: sieks 4. R? 
由 此 ， 得 到 : 
Pi = 4. Á scie 
square 


我 们 假设 有 一 个 未 燥 边 长 的 正方 形 图 像 和 一 个 内 接 圆 。 可 以 通过 在 图 像 内 的 随机 位 置 绘制 许多 像素 并 计算 位 于 内 接 圆 中 的 像 


泰 个 数 来 估计 内 接 圆 的 面积 。 另 一 方面 ， 估 计 正 方形 的 面积 为 绘制 的 像素 总 数 。 这 样 使 用 上 面 的 公式 就 可 以 估计 出 Pi 的 值 。 
下 面 的 算法 模拟 了 这 个 过 程 : 
(1) 在 一 个 黑色 的 正方 形 图 像 上 ， 画 一 个 纯 白 色 的 内 接 圆 ; 
(2) 在 另 一 个 黑色 的 正方 形 图 像 上 (和 上 面 的 正方 形 大 小 相同 ) ， 随 机 绘制 大 量 像素 ; 
(3) 在 两 幅 图 像 之 间 进 行 一 个 AND 运 算 ， 并 计算 所 产生 的 图 像 中 的 非 零 像 素 个 数 ; 
(4) 使 用 公式 估计 Pi。 
估计 Pi 值 示 例 的 代码 如 下 : 
#include «opencv2/opencv.hpp» 


using namespace cv; 
using namespace std; 


int main() 

{ 
const int side=100; 
const int npixels=8000; 


ha) oe a 

Mat sl-Mat::zeros(side, side, CV 8UC1); 

Mat s2-sl.clone(); 

circle(s1, Point(side/2, side/2), side/2, 255, -1); 


imshow("s1",s1); 


for (int k=0;k<npixels;k++) 
{ 

i = rand()$side; 

j = rand()$side; 
s2.at<uchar>({i,j)=255; 


} 


Mat r; 
bitwise and(s1,s2,r); 


imshow("s2", s2); 
imshow("r", r); 
int Acircle = countNonZero(r) ; 


int Asquare = countNonZero(s2) ; 
float Pi=4* (float) Acircle/Asquare; 
cout << "Estimated value of Pi: " << Pi << endl; 


waitKey () ; 
return 0; 


该 程序 完全 遵循 上 面 的 算法 。 注 意 ， 使 用 函数 countNonZero 计 算 非 零 (在 该 示例 中 是 白色 ) 像素 。 对 于 npixels=8000， 
其 估计 值 为 3.125。npixels 的 值 越 大 ， 佑 计 结 果 也 融 越 好 ， 如 图 2-4 所 示 。 
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图 2-4 ”估计 Pi 值 示例 的 输出 


2.6 ”数据 持久 化 


在 OpenCV 中 ， 除 了 包括 读 取 、 写 入 图 像 和 视频 的 特定 为数 之 外 ， 还 有 一 种 更 加 通用 的 方式 用 来 保存 /加 载 数据 。 此 方法 称 
之 为 数据 持久 化 (data persistence) : 程序 中 对 象 和 变量 的 值 可 以 被 记录 (序列 化 ) 到 磁盘 上 。 这 对 于 保存 结果 和 加 载 配置 数 
据 是 非 音 有 用 的 。 其 主 类 是 aptly， 命 名 为 Filestorage， 表 示 磁 盘 上 的 一 个 文件 。 实 际 上 ， 数 据 航 存储 为 XML 格式 或 YAML 格 
zb 

这 些 是 写 入 数据 时 涉及 的 步 又 : 


(1) 调用 构造 辫 数 FileStorage， 使 用 FileStorage: : WRITE 值 传递 一 个 文件 名 称 和 一 个 标志 ， 数 据 格式 则 是 由 文件 扩展 
名 “( 即 .xml、.yml 或 ,yaml) 定义 的 ; 


(2) 使 用 运算 符 < < 将 数据 写 入 文件 ， 数 据 通常 被 写 为 字符 串 值 对 ; 

(3) 使 用 release 方 法 关闭 文件 。 
读 取 数据 时 需要 如 下 这 些 步骤 : 

(1) 调用 构造 函数 FileStorage， 使 用 FileStorage: : READ 值 传递 一 个 文件 名 和 一 个 标志 ; 
(2) 使 用 运算 符 [] 或 >> 从 文件 中 读 取 数据 ; 

(3) 使 用 release 方 法 关闭 文件 。 


下 面 的 示例 使 用 数据 持久 化 保 仓 和 加 载 滑动 条 的 值 。 


#include «opencv2/opencv.hpp» 


using namespace cv; 
using namespace std; 
Mat imgl; 


void tbi Callback(int value, void *) 


{ 


Mat temp = imgl + value; 
imshow("main win", temp) ; 


| 


int main() 


{ 


imgl = imread("lena.png", IMREAD GRAYSCALE) ; 
if (imgl.empty () ) 


{ 


cout << "Cannot load image!" << endl; 
return -1; 


int tbl value = 0; 


// 加 载 滑动 条 的 值 

FileStorage fsl("config.xml", FileStorage::READ) ; 

tbl value=fsl["tbl value"]; // 读 取 数据 tb1_value 的 方法 1 
fsl["tbl value"] >> tbl value; // 读 取 数据 tbl value 的 方法 2 
fsl.release(); 


// 创建 滑动 条 

namedWindow ("main win"); 

createTrackbar("brightness", "main win", &tbl value, 
255, EDI Callback); 

tbi Callback(tbi value, NULL); 


waitKey(); 


// 退出 时 保存 滑动 条 的 值 

FileStorage fs2("config.xml", FileStorage::WRITE); 
fs2 << "tbl value" << tbl value; 

fs2.release(); 


return 0; 


Qua 当 OpenCV 使 用 Qt 支持 编译 时 ， 使 用 函数 save\WindowPatametefs () 可 以 保存 窗口 属性 ， 包 括 滑动 条 的 值 。 


当 使 用 滑动 条 来 控制 一 个 整数 值 时 ， 只 是 被 加 入 到 原始 图 像 ， 使 其 变 得 更 腕 。 当 程序 局 动 时 ， 这 个 值 被 读 入 (WAN, fe 
为 0) ， 并 在 程序 正常 退出 时 进行 保存 。 注 意 ， 上 面 的 示例 中 显示 了 有 两 种 等 价 的 方法 读 取 tb1_value 变 量 的 值 。 文 件 config.xml 


的 内 容 是 : 


<?xml version="1.0"?> 
<opencv_storage> 

«tbl value»112«/tbl value» 
«/opencv storage» 


27 BAe 


一 旦 图 像 被 定义 为 一 种 数据 类 型 ， 并 能 够 访问 该 图 像 的 灰 度 值 (BUR) ， 我 们 可 能 想得到 一 个 不 同 灰 度 的 概率 密度 函数 ， 
称 为 该 图 像 的 直方 图 (histogram) 。 图 像 直 方 图 表示 图 像 中 各 种 灰 度 出 现 的 频率 。 可 以 对 直方 图 建 模 ， 使 图 像 可 以 改变 其 对 比 
度 ， 被 称 为 直方 图 均衡 化 (histogram equalization) 。 直 方 图 建 模 对 于 以 对 比 度 变化 的 方式 进行 图 像 增 强 是 一 种 非常 有 用 的 技 
术 。 直 方 图 均衡 化 允许 低 对 比 度 的 图 像 区 域 获取 更 高 的 对 比 度 。 图 2-5 向 您 展示 了 一 幅 均 衡 化 后 的 图 像 及 其 直方 图 的 一 个 示例 : 
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图 2-5 ”均衡 化 图 像 直方 图 的 示例 
在 OpenCV 中 ， 使 用 函数 void calcHist 可 以 计算 图 像 直方 图 ， 使 用 函数 void equalizeHist 可 进行 直方 图 均衡 化 。 
图 像 直 方 图 的 计算 用 十 个 参数 来 定义 : 


void calcHist (const Mat*images, int nimages, const int*channels, InputArray mask, OutputArray hist, int 


dims, const int*histSize, const float**ranges, bool uniform=true, and bool accumulate=false) . 
- const Mat*images: 第 一 个 参数 是 集合 中 第 一 幅 图 像 的 地 址 ， 可 用 于 处 理 一 批 图 像 。 
‘int nimages: 第 二 个 参数 是 原 图 像 的 数量 。 
const int*channels: 第 三 个 参数 是 用 来 计算 直方 图 的 通道 列表 ， 通 道 数 从 0 到 2。 
InputAtray mask: 这 个 参数 是 一 个 可 选项 mask， 用 来 指示 直方 图 中 图 像 像素 的 个 数 。 
: OutputArray hist: 第 五 个 参数 是 输出 直方 图 。 


"intdims: 这 个 参数 用 于 指示 直方 图 的 维 数 。 


- const int*histSize: 这 个 参数 是 每 一 维度 上 直方 图 大 小 的 数组 。 

- const float**ranges: 这 个 参数 是 每 一 维度 上 直方 图 bin 边 界 维度 数组 的 数组 。 
bool uniform=true: 默认 情况 下 ， 该 布尔 值 为 true。 表 示 直 方 图 是 均匀 分 布 的 。 

- bool accumulate=false: 默认 情况 下 ，Boolean 值 为 false。 表 示 直 方 图 是 不 累加 的 。 


直方 图 均衡 化 只 需要 两 个 参数 : void equalizeHist (InputArray src，OutputArray dst) 。 其 中 ， 第 一 个 参数 是 输入 图 
像 ， 第 二 个 参数 是 输出 直方 图 均衡 化 后 的 图 像 。 


还 可 以 计算 多 幅 输 入 图 像 的 直方 图 ， 使 您 可 以 比较 这 些 图 像 直方 图 和 计算 多 幅 图 像 的 联合 直方 图 。 可 以 使 用 函数 void 
compareHist (InputArray histlmage1, InputArray histlmage2, method) 进行 两 个 图 像 直方 图 histlImage1 和 histlimage2 
的 比较 。 方 法 metric 用 于 计算 两 个 直方 图 之 间 的 匹配 情况 。 在 OpenCV 中 实现 了 四 个 metric 方 法 : 
correlation (CV COMP CORREL) , chi-square (CV COMP CHISQR) , intersection distance 或 者 minimum 
distance (CV COMP INTERSECT) 和 Bhattacharyya distance (CV COMP BHATTACHARYYA) , 


也 可 以 计算 同一 幅 彩 色 图 像 的 多 个 通道 的 直方 图 ， 因 为 有 第 三 个 参数 使 其 成 为 可 能 。 


下 面 的 小 节 将 向 您 展示 两 个 示例 的 代码 ， 用 于 彩色 直方 图 计算 (Colourlmage-EqualizeHist) 和 比较 
(ColourlmageComparison) 。 在 ColourlmageEqualizeHist 示 例 中 ， 还 说 明了 如 何 计算 直方 图 均衡 化 以 及 有 两 个 通道 的 二 维 
直方 图 ， 也 即 ColourlImage-Comparison 示 例 中 的 色 度 (H) 和 饱和 度 (S) 。 


2.8 ”小 结 


本 草 涉及 并 建立 了 在 计算 机 视 嘻 中 应 用 图 像 处 理 方法 的 基础 。 对 于 更 深入 的 计算 机 视 完 应 用 来 说 ， 图 像 处 理 通 党 是 第 一 步 ， 
因此 ， 本 章 包 括 : 基本 数据 类 型 、 像 素 级 访问 、 常 用 的 图 像 操 作 、 算 术 运 算 、 数 据 持久 化 和 直方 图 。 


您 还 可 以 参考 由 Packt 出 版 社 出 版 的 《OpenCV Essentials》 中 第 3 章 对 这 一 广泛 主题 的 基本 方面 进行 的 更 深入 探讨 ， 例 如 ， 
图 像 增 强 、 通 过 滤波 进行 图 像 修复 和 几何 校正 等 。 


下 一 章 将 介绍 图 像 处 理 方法 更 深入 的 内 容 ， 通 过 平滑 、 馈 化 、 图 像 分 辩 率 分 析 、 形 态 学 和 几何 变换 、 修 复 和 去 噪 等 万 法 ， 对 
图 像 进 行 校正 和 增强 。 


第 3 章 ”校正 和 增强 图 像 


本 章 介绍 图 像 增 强 和 校正 的 方法 。 有 时 ， 降 低 一 幅 图 像 的 噪声 ， 加 强 或 抑制 图 像 的 某 些 细节 是 有 必要 的 。 通 单 是 通过 修改 像 
素 值 ， 在 这 些 像 素 或 其 局 部 邻 域 上 执行 某 毕 操作 来 进行 这 些 处 理 过 程 的 。 根 据 定 义 ， 图 像 增 强 操 作用 于 提高 重要 的 图 像 细 节 。 增 
强 操 作 包括 降 品 、 平 清和 边缘 增强 。 另 一 方面 ， 图 像 校 正 降 图 修复 一 幅 有 党 损 的 图 像 。 在 OpenCV 中 ，imgproc 模 块 包括 了 处 理 图 
RAVEN. 


本 章 将 介绍 的 内 容 有 : 

ARR: 包括 图 像 平滑 、 图 像 锐 化 以 及 图 像 金 字 塔 (image pyramid) 。 
` 形态 学 运算 的 应 用 : Bilder, WK. te. FBR. 

UAT RK AFH ARAL RR) 。 

修复 : 用 于 重 构图 像 的 受 损 部 分 。 


: 这 对 于 降低 由 图 像 拍 摄 设备 所 产生 的 图 像 噪 声 是 有 必要 的 。 


这 


3.1 EER 


图 像 滤波 是 一 个 修改 或 增强 图 像 的 过 程 ， 加 强 一 幅 图 像 中 的 某 些 特 征 或 消除 其 他 特征 都 是 图 像 滤波 的 例子 。 滤 波 是 一 种 邻 域 
运算 ， 邻 域 是 一 个 选 定 区 域 周围 的 像素 集合 。 通 过 利用 在 该 像素 周围 一 定 邻 域内 像素 集合 的 值 执 行 某 些 运算 ， 图像 滤波 确定 了 位 
于 (x, y) 处 的 某 个 像素 的 输出 值 。 


OpenCV 为 常见 的 图 像 处 理 操作 提供 了 一 些 滤波 函数 ， 例 如 ， 平 交 或 锐 化 。 


3.2 ”形态 学 运算 


形态 学 运算 (morphological operation) ， 也 称 形 态 学 操作 ， 是 根据 图 像 的 形态 处 理 图 像 。 形 态 学 运算 把 一 个 定义 的 “ 结 
构 元 素 ” 应 用 于 一 幅 图 像 ， 通 过 比较 (xj, yj) 处 的 输入 像素 值 及 其 邻 域 的 像素 值 来 计算 (xj, yj) 处 的 像素 得 到 一 幅 新 的 图 像 。 
根据 所 选择 的 结构 元 素 的 不 同 ， 一 个 形态 学 运算 对 于 一 个 特定 形状 或 其 他 形状 更 为 敏感 。 

两 个 基本 的 形态 学 运算 是 膨胀 (dilation) 和 腐蚀 (erosion) 。 在 一 幅 图 像 中 ， 膨 胀 运算 是 从 对 象 的 育 景 到 边界 添加 像 


素 ， 而 腐蚀 运算 则 是 清除 像素 。 此 处 ， 结 构 元 素 补 认为 是 将 要 选择 添加 或 删除 的 元 素 。 脱 胀 运算 中 ， 输 出 像素 的 值 是 其 邻 域 中 所 
有 像素 的 最 大 值 。 而 在 使 用 腐蚀 运算 时 ， 输 出 像素 的 值 是 其 邻 域 中 所 有 像素 的 最 小 值 (图 3-6) 。 


图 3-6 ”膨胀 和 腐蚀 的 例子 


其 他 一 些 图 像 处 理 运算 可 以 通过 把 膨胀 和 腐蚀 相 结合 来 定义 ， 例 如 ， 开 运算 和 闭 运算 ， 以 及 形态 梯度 (morphological 
gradient) 。 开 运算 定义 为 先进 行 腐蚀 运算 ， 随 后 进行 膨胀 运算 ;而 闭 运算 正好 相反 ， 先 进行 膨胀 运算 ， 后 进行 腐蚀 运算 。 
此 ， 开 运算 从 一 幅 图 像 中 清除 小 对 象 而 保留 更 大 的 对 象 ， 闭 运算 则 用 于 清除 小 洞 而 以 某 种 和 开 运 算 类 似 的 方式 保留 更 大 的 对 象 。 
形态 学 梯度 定义 为 一 幅 图 像 的 膨胀 运算 与 腐蚀 运算 的 差 值 。 此 外 ， 使 用 开 运 算 和 闭 运 算 可 定义 另外 两 个 运算 : top-hat 运 算 和 
black-hat 运 算 。top-hat 运 算 定义 为 原 图 像 与 其 开 运 算 之 间 的 差 值 ，black-hat 运 算 定 义 为 一 幅 图 像 的 闭 运 算 与 原 图 像 的 产值 。 
所 有 这 些 运算 都 应 用 相同 的 结构 元 素 。 


在 OpenCV 中 ， 可 以 使 用 下 面 的 函数 实现 膨胀 、 腐 蚀 、 开 运算 和 闭 运 算 。 


: void dilate (InputArray src, OutputArray dst, InputArray kernel, Point anchor=Point (-1, -1) , intiterations=1, int 
borderType=BORDER_CONSTANT, const Scalar&borderValue=morphologyDefaultBorderValue () ) : 这 个 函数 使 用 一 个 特定 的 结 
构 元 素 将 存储 在 sfc 中 的 一 幅 图 像 进行 膨胀 运算 ， 将 结果 保存 在 dst 中 。 参 数 Kernel 是 所 使 用 的 结构 元 素 。anchot 表 示 定 位 像素 的 位 
置 。 取 值 (-1，-1) 意味 着 定位 点 是 在 中 心 位 置 。 通 过 迭代 (iterations) ， 可 以 多 次 应 用 该 运算 。 而 参数 borderType 表 示 边 界 类 
型 ， 这 和 上 面 小 节 中 的 其 他 滤波 是 一 样 的 。 最 后 ， 如 果 使 用 的 边界 类 型 为 BORDER_CONSTANT， 那 么 borderValue 表 示 一 个 党 


x 


一 一 一 
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- void erode (InputArray src, OutputArray dst, InputArray kernel, Point anchor=Point (-1, -1) , intiterations-1, int 
borderType- BORDER, CONSTANT, const Scalar&borderValue=morphologyDefaultBorderValue () ) : 该 函数 使 用 一 个 特定 的 结构 


元 素 腐 蚀 一 幅 图 像 ， 其 参数 和 dilate 函 数 的 参数 一 样 。 


- void morphologyEx (InputArray src, OutputArray dst, int op InputArray kernel, Point anchor=Point (-1, -1) , int 
iterations=1, int borderType- BORDER, CONSTANT, const Scalar&borderValue=morphologyDefaultBorderValue () ) : 该 函数 执行 
使 用 参数 op 定义 的 高 级 形态 学 运算 。op 的 值 可 以 是 MORPH_OPEN、MORPH_CLOSE、MORPH_GRADIENT、 


MORPH_IOPHATI 和 MORPH_BLACKHATI。 


- Mat getStructutingElement (int shape, Size ksize, Point anchor=Point (-1, -1) ) : 该 函数 为 形态 学 运算 返回 一 个 指定 大 小 


和 形状 的 结构 元 素 ， 其 所 支持 的 类 型 有 MORPH _RECT、MORPH ELLIPSET2MORPH, CROSS, 


Morphological 代 码 示例 


下 面 的 Morphological 示 例 展示 如 何 分割 出 一 个 棋盘 中 的 红色 棋子 。 该 示例 先 应 用 一 个 二 值 化 国 值 (函数 inRange) ， 然 后 
使 用 膨胀 运算 和 腐蚀 运算 GBiXEEEXdiatetUERdZKerode) 改进 结果 ， 所 使 用 的 结构 是 一 个 15x 15 像 素 的 圆 。 该 示例 的 代码 如 
Ñ: 


#include "opencv2/opencv.hpp" 


using namespace cv; 
using namespace std; 


int main( int argc, char** argv ) 
{ 

// 读 取 源 文 件 

Mat src; 

src = imread(argv[11]); 


// 应 用 滤波 器 
Mat dst, dst2, dst3; 
inRange(src, Scalar(0, 0, 100), Scalar(40, 30, 255), dst); 


Mat element - getStructuringElement (MORPH ELLIPSE,Size(15,15)); 
dilate(dst, dst2, element); 
erode(dst2, dst3, element); 


// 显示 结果 

namedWindow( " ORIGINAL ", WINDOW AUTOSIZE ) ; 
imshow( " ORIGINAL ", src ); 

namedWindow( " SEGMENTED ", WINDOW AUTOSIZE ); 


imshow( " SEGMENTED ", dst ); 


namedWindow( " DILATION ", WINDOW AUTOSIZE 15 
imshow( " DILATION ", dst2 ); 
namedWindow( " EROSION ", WINDOW AUTOSIZE ); 
imshow( " EROSION ", dst3 ); 


waitKey(); 
return 0; 


图 3-7 展 示 了 该 代码 的 输出 。 
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图 3-7 原始 图 、 红 色 棋 子 分 割 、 膨 胀 和 腐蚀 


查找 表 (Look-up table, LUT) 经 常 出 现在 这 样 的 目 定 义 滤波 器 中 ， 其 在 输入 中 具有 相同 值 的 两 个 像素 在 输出 中 也 具有 相 
同 的 值 。 一 个 LUT 变 换 根据 一 个 给 定 表 中 的 值 为 输入 图 像 中 的 每 个 像素 分 配 一 个 新 的 像素 值 。 在 该 表 中 ， 其 这 引 代 表 输 入 的 亮度 
值 ， 而 相应 索引 单元 的 内 容 代表 对 应 的 输出 值 。 由 于 该 转换 实际 上 是 对 每 个 可 能 的 亮度 值 的 计算 ， 这样 就 导致 了 在 一 幅 图 像 (图 
像 通常 合 有 比 亮 度 值 数量 更 多 的 像素 ) 上 进行 变换 所 需 时 间 的 减少 。 


Ate E 


OpencCyv 的 国 数 LUT (InputArray src, InputArray lut, OutputArray dst, int interpolation=0) 在 一 幅 8 位 有 符号 的 图 
像 或 一 幅 src 无 符号 图 像 上 应 用 查找 表 变 换 ， 故 在 参数 lut 中 给 出 的 表 包 括 256 个 元 素 。 在 lut 中 的 通道 数 是 1 或 src.channels。 如 果 
src 有 不 止 一 个 通道 ， 而 Iut 只 有 一 个 通道 ， 那 么 对 所 有 的 图 像 通道 都 应 用 与 ut 相同 的 通道 。 


下 面 的 LUT 示 例 展示 ， 如 何 使 用 一 个 查找 表 将 一 幅 图 像 划 分 成 (两 种 ) RARE. ZARRARI, H 
代码 为 : 


uchar * M = (uchar*)malloc(256*sizeof (uchar) ) ; 
for(int i=0; i<256; i++) { 

M[i] = i*0.5; // 结 果 取 整数 值 
} 


Mat lut(1, 256, CV 8UC1, M); 


€8/8—^"^MatjZs, 每 个 单元 都 包括 其 新 值 。LUT 示 例 的 代码 为 : 
#include "opencv2/opencv.hpp" 
using namespace cv; 


int main( int argc, char** argv ) 
{ 

// 读 取 源 文件 

Mat src; 

src = imread(argv[11); 


// 创建 查找 表 (LUT) 
uchar * M = (uchar*)malloc(256*sizeof(uchar)); 
for(int i20; i«256; i++) { 
M[i] = i*0.5; 
} 


Mat lut(1, 256, CV 8UC1, M); 


// 应 用 查找 表 (LUT) 
Mat dst; 
LUT (src,lut,dst); 


// 显示 结果 
namedWindow( " ORIGINAL ", WINDOW AUTOSIZE ) ; 
imshow( " ORIGINAL ", src ); 
namedWindow( " LUT ", WINDOW AUTOSIZE ) ; 
imshow( " LUT ", dst ); 
waitKey(); 


return Us 


图 3-8 展 示 了 该 代码 的 输出 。 
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图 3-8 ”原始 图 像 和 查找 表 变 换 后 的 图 像 


3.4 几何 变换 


几何 变换 并 不 改变 图 像 的 内 容 ， 而 是 通过 使 网 格 友 生 形变 使 得 图 像 友 生 形变 。 在 这 种 情况 下 ， 对 和 输出 图 像 像素 值 的 计算 ， 是 
过 首先 应 用 相应 的 映射 函数 获取 适当 的 输入 像素 的 坐标 ， 然 后 复制 这 些 获 得 位 置 的 原始 像素 值 给 如 下 新 位 置 : 


O (xy) =a (fe (xy) ,fy (xy) ) 
该 运算 类 型 存在 两 个 问题 : 


- 外 播 法 : f (x, y) fef, (x, y) 可 能 会 获得 表示 一 个 在 图 像 边界 以 外 像素 的 值 。 在 几何 变换 中 所 使 用 的 外 插 法 ， 与 在 图 


像 滤波 中 所 使 用 的 方法 ， 以 及 一 个 称 之 为 BORDER_TRANSPARENT 的 方法 是 一 样 的 。 


| 内 插 法 : f (x, y) Wef (x, y) 通常 都 是 浮 点 数 。 在 OpenCV 中 ， 可 以 在 最 近邻 插值 法 和 多 项 式 插值 法 之 间 进 行 选择 。 最 
近邻 插值 是 由 浮 点 坐标 值 四 舍 五 入 为 最 近 的 整数 而 构成 的 ， 支 持 的 内 播 法 有 : 


- INTER. NEAREST: 该 方法 是 前 面 介 绍 过 的 最 近邻 插值 。 


INTER LINEAR: 该 方法 是 一 种 双 线 性 插值 法 。 默 认 时 使 用 。 


- INTER, AREA: 该 方法 使 用 像素 区 域 的 关系 进行 重 采样 。 
INTER, CUBIC: 该 方法 是 在 一 个 4X4 的 像素 领域 上 的 双 三 次 插值 法 。 
- INTER_LANCZOS4: 该 方法 是 在 一 个 8X8 的 像素 邻 域 上 的 Lanczos 播 值 法 。 


在 OpenCV 中 ， 所 文 持 的 几何 变换 包括 仿 射 变换 〈 缩 放 、 平 移 、 旋 转 等 ) 和 透视 变换 。 


35 图像 修复 


图 像 修 复 是 重建 图 像 和 视频 的 受 损 部 分 的 过 程 。 这 个 过 程 也 称 为 图 像 或 视频 插值 。 基 本 思想 是 模拟 古董 修复 人 员 的 处 理 过 
程 。 如 今 ， 随 着 数码 摄像 机 的 广泛 应 用 ， 修 复 拉 术 已 经 形成 了 一 种 自动 过 程 ， 不 但 用 于 通过 删除 划 痕 复原 图 像 ， 而 且 还 可 以 用 于 
其 他 任务 ， 例 如 对 象 或 文本 去 除 。 


OpenCV 的 2.4 版 本 支持 一 种 修复 算法 ， 进 行 图 像 修复 的 立 数 是 : 


- void inpaint (InputArray src, InputArray inpaintMask, OutputArray dst, double inpaintRadius, int flags) : 该 泡 数 修复 在 原 图 
f (stc) 中 由 参数 inpaintMask 表 示 的 具有 非 零 值 的 区 域 。 参 数 inpaintRadius 表 示 由 flags 所 指定 的 算法 可 以 使 用 的 领域 。 在 OpenCV 
中 ， 可 以 使 用 两 种 修复 方法 : 


(1) INPAINT_NS: 该 万 法 是 基于 Navier-Stokes 的 万 法 。 
(2) INPAINT TELEA: 该 方法 是 由 Alexandru Telea 提 出 来 的 。 
最 后 ， 所 复原 的 图 像 存 储 在 dst 中 。 
Qua 在 http://www.ifp.illinois.edu/~yuhuang/inpainting.html 上 ， 可 以 找到 OpenCV 中 所 使 用 修复 算法 的 更 详细 信息 。 
Os 对 于 视频 修复 ， 可 把 视频 当 作 一 个 图 像 序列 ， 并 对 所 有 的 图 像 序列 应 用 修复 算法 。 
inpainting 示 例 代码 
下 面 的 inpainting 示 例 ” 回 您 展示 ， 如 何 使 用 函数 inpaint 修 复 一 幅 图 像 中 用 图 像 掩 码 所 定 的 区 域 。 
示例 代码 为 : 
#include "opencv2/opencv.hpp" 
using namespace cv; 


int main( int argc, char** argv ) 


{ 
// 读 取 源 文 件 


Mat src; 


src = imread(argv[1]); 


// ERED xt 

Mat mask; 

mask = imread(arav[2]) ; 
cvtColor(mask, mask, COLOR RGB2GRAY); 


// 应 用 修复 算法 

Mat dst, dst2; 

inpaint(src, mask, dst, 10, INPAINT TELEA) ; 
inpaint(src, mask, dst2, 10, INPAINT NS); 


// 显示 结果 

namedWindow( " ORIGINAL ", WINDOW AUTOSIZE ) ; 
imshow( " ORIGINAL ", src ); 

namedWindow( " MASK ", WINDOW AUTOSIZE ) ; 

imshow( " MASK ", mask ); 

namedWindow(" INPAINT TELEA ", WINDOW AUTOSIZE ); 
imshow( " INPAINT TELEA ", dst ); 

namedWindow(" INPAINT NS ", WINDOW AUTOSIZE ); 
imshow( " INPAINT NS ", dst2 ); 


waitKey(); 
return 0; 


图 3-16 展 示 了 该 代码 的 输出 : 
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图 3-16 ”应 用 图 像 修 复 的 结果 
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Quz 第 一 行 包含 原始 图 像 和 所 使 用 的 掩 码 ， 第 二 行 包含 修复 的 结果 : 左 侧 的 图 是 采用 Telea 提 出 的 方法 ， 右 侧 的 图 采用 
的 是 基于 Navier-Stokes 的 方法 。 


获得 修复 图 像 的 掩 码 不 是 一 件 容易 的 任务 。inpainting2 代 码 示例 向 您 展示 了 如 何 通 过 
threshold (mask, mask, 235, 255, THRESH BINARY) 采用 二 进 制 阅 值 从 原 图 像 获 取 该 掩 码 的 一 个 例子 : 


#include "opencv2/opencv.hpp" 
using namespace cv; 


int main( int argc, char** argv ) 
{ 

// 读 取 源 文件 

Mat src; 

src = imread(argv[1]); 


// 创建 掩 码 

Mat mask; 

cvtColor(src, mask, COLOR RGB2GRAY) ; 
threshold(mask, mask, 235, 255, THRESH BINARY) ; 


// 应 用 修复 算法 

Mat dst, dst2; 

inpaint(src, mask, dst, 10, INPAINT TELEA) ; 
inpaint(src, mask, dst2, 10, INPAINT NS); 


// 显示 结果 


namedWindow( " ORIGINAL ", WINDOW AUTOSIZE ) ; 
imshow( " ORIGINAL ", src ); 

namedWindow( " MASK ", WINDOW AUTOSIZE ); 

imshow( " MASK ", mask ); 

namedWindow(" INPAINT TELEA ", WINDOW AUTOSIZE ); 
imshow( " INPAINT TELEA ", dst ); 

namedWindow(" INPAINT NS ", WINDOW AUTOSIZE ); 
imshow( " INPAINT NS ", dst2 ); 

waitKey(); 


return 0; 


图 3-17 展 示 了 该 代码 的 输出 : 


Oum 第 一 行 包含 原 图 像 和 提取 的 掩 码 ， 第 二 行 包 含 修复 结果 : 左 侧 的 图 是 采用 Telea 提 出 的 方法 ， 右 侧 的 图 是 采用 基于 


Navier-Stokes 的 方法 。 


该 示例 的 结果 同 您 展示 并 不 忌 是 能 够 获取 一 幅 寺 美的 掩 码 。 有 时 会 包 合 像 背景 或 噪声 之 类 的 图 像 的 某 些 其 他 部 分 。 但 是 ， 当 
产生 的 图 像 与 在 其 他 场合 得 到 的 图 像 接近 时 ， 修 复 结果 还 是 可 接受 的 。 
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图 3-17 在 不 知道 掩 码 情况 下 应 用 修复 算法 的 结果 
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图 3-17 (9) 


去 噪 或 降 噪 是 从 模拟 设备 或 数字 设备 所 获取 的 信号 中 去 除 噪 声 的 过 程 。 这 一 节 重 点 介绍 数字 图 像 和 视频 的 去 噪 。 
尽管 平滑 滤波 和 中 值 滤波 对 于 去 除 一 幅 图 像 的 噪声 
算法 是 非 局 部 均值 算法 和 TVL1 (Total Variation L1) 
图 像 子 窗口 的 颜色 的 平均 值 来 代替 一 个 像素 的 颜色 。 


optimization) 


全 注意 


是 一 种 很 好 的 选择 ,但 是 OpenCV 提 供 了 其 他 算法 来 执行 这 个 任务 。 这 些 


算法 。 非 局 部 均值 算法 的 基本 思想 是 : 用 与 构成 该 像素 邻 域 相似 的 若干 个 
另 一 方面 ，TVL1 变 分 去 噪 模 型 使 用 原 对 偶 优 化 (primal-dual 
算法 实现 ， 它 将 图 像 去 噪 过 程 看 成 是 一 个 变 分 


| 文思 问题 。 


有 关 非 局 部 均值 去 只 算法 和 TVL1 去 骂 算 法 的 更 多 信息 ， 可 以 在 http://www.ipol.im/pub/art/2011/bcm_nlm 网 站 
http:/ /znah.net/rof-and-tv-11 -denoising-with-primal-dual-algorithm.html I 35 EAIA) 4X, 2] 


OpenCV 对 于 非 局 部 均值 算法 提供 了 4 个 为 数 来 去 除 彩 色 图 像 和 灰 度 图 像 的 噪声 。 而 对 于 TVL1 模 型 仪 提供 了 1 个 国 数 。 这 些 
ERE: 


: void fastNIMeansDenoising M stc, OutputArray dst, float h=3 


除 在 stc 中 加 载 的 一 幅 灰 
素数 量 ， 和 参数 searchWindowSize 是 用 于 计 


, int templateWindowSize=7 
searchWindowSize-21) : 2 %4% 


, int 


AR 
由 给 


灰 度 图 像 的 噪声 。 参 数 templateWindowSize 是 用 于 计算 权 值 的 模板 块 的 像 
定 像素 权 值 平均 值 的 窗口 的 像素 数量 。 这 些 参数 应 该 为 奇数 ， 建 议 值 是 7 个 像素 和 21 
个 像素 。h 参 数 调节 算法 的 效果 。h 值 越 大 去 除 


的 唆 声 缺陷 也 就 越 多 ， 但 缺点 是 去 除了 更 多 的 图 像 细 节 。 另 外 ， 输 出 存储 在 dst 
中 。 


: void fastNIMeansDenoisingColored (InputArray src, OutputArray dst 


, float h-3, float hForColorComponents=3, int 


templateWindowSize=7, int searchWindowSize=21) : 该 水 数 是 对 先前 隙 数 的 修改 ， 用 于 彩色 图 像 。 该 函数 将 stc 图 像 转换 到 
CIELAB 闫 色 空 间 ， 然 后 使 用 涵 数 fastNIMeansDenoising 分 别 对 LL 分 量 和 AB 分 量 去 嗓 。 


- void fastNIMeansDenoisingMulti (InputAtrayOfArrays srclmgs, OutputArray dst, int imgToDenoiseIndex, int 
temporalWindowSize, float h=3, int templateWindowSize=7, int searchWindowSize=21) : kw AK JE] — ^M E P2183] — KE 
后 的 图 像 。 在 该 情形 中 ， 需 要 两 个 额外 参数 : imgToDenoiselIndexfetemporalWindowSize. imgToDenoiseIndex tA € *[ F 3 v 84 
stcImgs 中 目标 图 像 的 索引 。 而 temporalWindowSize 是 建立 用 来 去 嗓 的 周转 图像 数 。 应 是 一 个 奇数 。 


: void fastNIMeansDenoisingColoredMulti (InputArrayOfArra ys stcImgs, OutputAtray dst, intimgToDenoiseIndex, int 
temporalWindowSize, float h=3, float hForColorComponents=3, int templateWindowSize=7, int searchWindowSize=21) : 该 函数 基 


T fastNIMeansDenoisingColored ##fastNIMeansDenoisingMulti® 84k, HERA HAP CUR BERE. 


- void denoise_TVL1 (const std: : vector<Mat>&observations, Mat&result, double lambda, int niters) : 该 函数 得 到 一 幅 去 


"AK, AEE MLM) (observations) 向 量 中 的 一 幅 或 多 幅 骂 声 图 像 产 生 。 参 数 lambda 和 niters 控 制 算法 的 迭代 次 数 和 强度 。 
denoising 示 例 代码 


下 面 的 denoising 示 例 向 您 展示 ， 如 何 使 用 一 种 去 噪 久 数 降低 一 幅 彩 色 图 像 (fastNIMeansDenoisingColored) 的 噪声 
因为 该 示例 使 用 一 幅 无 噪声 的 图 像 ， 需 要 对 其 添加 一 些 噪 声 ， 为 此 ， 使 用 了 如 下 代码 行 


Mat noisy = src.clone(); 

Mat noise(src.size(), src.type()); 
randn(noise, 0, 50); 

noisy += noise; 


创建 一 个 与 原 图 像 大 小 和 类 型 相同 的 Mat 区 素 ， 用 来 存储 由 函数 randn 所 产生 的 噪声 。 最 终 ， 将 该 噪声 添加 到 克隆 图 像 中 ， 
得 到 噪声 图 像 。 


该 示例 代码 为 : 


#include "opencv2/opencv.hpp" 
using namespace cv; 


int main( int argc, char** argv ) 
{ 

// 读 取 源 文 件 

Mat src; 

src = imread(argv[11]); 


// mR EE 

Mat noisy = src.clone(); 

Mat noise(src.size(), src.type()); 
randn(noise, 0, 50); 

noisy += noise; 


// MERR A 
Mat dst; 
fastNlMeansDenoisingColored(noisy, dst,30,30,7,21); 


// 显示 结果 

namedWindow( " ORIGINAL ", WINDOW AUTOSIZE ); 

imshow( " ORIGINAL ", src ); 

namedWindow( " ORIGINAL WITH NOISE ", WINDOW AUTOSIZE ); 
imshow( " ORIGINAL WITH NOISE ", noisy ); 

namedWindow(" DENOISED ", WINDOW AUTOSIZE ); 

imshow( " DENOISED ", dst ); 


waitKey(); 
return 0; 


图 3-18 展 示 了 噪声 图 像 和 执行 上 面 的 代码 得 到 的 去 噪 后 的 图 像 : 
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3.7 小 结 


本 章 介 绍 了 图 像 增强 和 校正 的 方法 ， 包 插 降 噪 、 边 缘 增 强 、 形 态 学 运算 、 几 何 变换 以 及 破损 图 像 的 恢复 。 每 种 情况 都 为 读者 
提供 了 不 同 的 选项 ， 而 且 所 有 的 选项 在 OpenCV 中 都 可 以 使 用 。 


下 一 章 将 包括 颜色 空间 以 及 如 何 进 行 空间 变换 ， 此 外 ， 还 将 介绍 基于 颜色 空间 的 分 割 和 颜色 变换 方法 。 


第 4 章 VERE 


颜色 是 由 光绪 入 射 到 视网膜 上 的 光谱 视 训 区域 并 激 友 我 们 视 训 系统 的 啊 应 而 产生 的 一 种 感知 结果 。 一 幅 图 像 的 赢 色 可 能 包括 


很 多 信息 ， 这 些 信息 可 用 于 简化 图 像 分 析 、 物 体 识别 和 基于 颜色 的 提取 。 通 剃 由 在 其 所 定义 的 颜色 空间 中 的 像素 值 来 执行 这 些 程 
序 。 
本 草包 括 如 下 内 容 : 


- OpenCV 用 到 的 颜色 空间 以 及 如 何 将 一 幅 图 像 从 一 种 颜色 模型 转换 到 另 一 种 颜色 模型 。 
` 在 定义 的 闫 色 空间 中 如 何 分割 一 幅 图 的 例子 。 


> 如 何 使 用 顾 色 转换 方法 转换 一 幅 图 像 的 外 观 。 


41 颜色 空间 


人 类 视 总 系统 能 够 区 分 成 皇上 二 种 颜色 。 为 获取 这 泽 信息 ， 人 类 的 视网膜 有 三 种 颜色 感光 圆锥 细胞 来 啊 应 入 射 苍 。 因 此 ， 大 
多 数 人 类 的 颜色 感知 可 以 由 称 为 基 元 的 三 个 数值 分 量 生 成 。 


要 用 三 种 或 更 多 的 特有 特征 来 指定 一 种 颜色 ， 有 许多 种 万 法 被 称 为 颜色 空间 (color space) 或 颜色 模型 (color 
model) 。 因 为 某 些 万 法 更 适合 所 需 的 应 用 ， 所 以 如 何 选 取 其 中 的 一 种 万 法 来 表示 一 幅 图 像 要 依赖 于 所 执行 运算 。 例 如 ， 在 某 些 
颜色 空间 中 (例如 ，RGB) ， 亮 度 影 响 三 通道 ， 这 是 不 利于 某 些 图 像 处 理 操作 的 。 下 一 节 将 介绍 OpenCV 中 使 用 的 颜色 空间 ， 以 
及 如 何 将 一 幅 图 从 一 种 颜色 模型 转换 到 另 一 种 颜色 模型 。 


颜色 空间 之 间 的 转换 


在 OQpenCV 中 有 超过 150 多 种 可 用 的 颜色 空间 转换 方法 。 由 OpenCV 在 imgproc 模 块 中 所 提供 的 立 数 是 void 
cvtColor (InputArray src, OutputArray dst, int code, int dstCn=0) 。 


该 函数 的 参数 有 : 


stc: 这 是 一 幅 8 位 无 符号 、16 位 无 符号 (CV 16UC) 、 或 单 精 度 浮 点 输入 图 像 。 


. dst: 这 是 与 stc 有 相同 尺寸 和 深度 的 输出 图 像 。 


- code: 这 是 颜色 空间 转换 代码 。 这 个 参数 的 结构 是 COLOR_SPACEsrc2SPACEdst。 一 些 示 例 值 是 COLOR_BGR2GRAY 和 


COLOR YCrCb2BGR。 
dstCn: 这 是 目标 图 像 的 通道 数 。 如 果 这 个 参数 为 0 或 省 略 ， 则 通道 数量 由 stc 和 code 自 动产 生 。 
接 下 来 部 分 将 讲述 这 个 国 数 的 一 些 实例 。 


Qi. cvtColor HR Z£ AARGB £48 29 FH APA E zz i8] RAMA FPR &, m 8] 4S ARGB, 此 如 果 读 者 想 要 在 除了 RGB 
之 外 的 两 种 颜色 空间 之 间 转 换 ， 首 先 必 须要 做 的 是 转换 到 RGB。 


接 下 来 介绍 OpenCV 中 的 各 种 颜色 空间 。 
1.RGB 


RGB 是 一 种 加 性 模型 ， 在 RGB 中 ， 一 幅 图 像 由 三 个 独立 的 图 像 平 面 或 通道 组 成 : £L. Sx. A (以 及 可 选项 : 第 4 个 通道 用 于 
透明 度 ， 有 时 称 为 alpha 通 道 ) 。 为 指定 一 种 特定 的 颜色 ， 每 个 值 表示 每 个 像素 的 每 个 分 量 的 度量 值 ， 信 和 越 高 对 应 更 党 的 像素 。 
因为 这 种 颜色 空间 对 应 于 人 眼 的 三 种 感光 细胞 ， 因 此 被 广泛 使 用 。 


Que 在 OpenCV 中 ， 默 认 的 颜色 格式 通常 是 指 RGB ， 但 实际 存储 为 BGR (通道 次 序 被 颠倒 ) 。 
BGRsplit 示 例 代码 

下 面 的 BGRsplit 示 例 向 您 展示 : 如 何 加 载 一 幅 RGB 图 像 ， 以 及 在 灰 度 空间 和 颜色 空间 中 拆 分 并 显示 每 个 特定 通道 。 
第 一 部 分 代码 用 于 加 载 和 显示 图 片 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


using namespace std; 
using namespace cv; 


vector<Mat> showSeparatedChannels(vector<Mat> channels); 


int main(int argc, const char** argv) 


{ 
/ /加载 图 片 
Mat image = imread("BGR.png") ; 
imshow ("Picture", image) ; 


下 面 的 代码 将 图 片 拆 分 成 通道 并 加 以 显示 : 


vector<Mat> channels; 
split( image, channels ); 


// 用 灰 度 级 显示 通道 

namedWindow("Blue channel (gray)", WINDOW AUTOSIZE ); 
imshow ("Blue channel (gray)",channels[0]) ; 
namedWindow("Green channel (gray)", WINDOW AUTOSIZE ) ; 
imshow ("Green channel (gray)",channels[1]) ; 
namedWindow("Red channel (gray)", WINDOW AUTOSIZE ); 
imshow("Red channel (gray)",channels [2] ) ; 


// 显 示 BGR 中 的 通道 


Vector<Mat> separatedChannels-showSeparatedChannels (channels); 


namedWindow("Blue channel", WINDOW AUTOSIZE ); 
imshow("Blue channel",separatedChannels[0]); 
namedWindow("Green channel", WINDOW AUTOSIZE ); 
imshow ("Green channel",separatedChannels[1]); 
namedWindow("Red channel", WINDOW AUTOSIZE ); 


imshow("Red channel", separatedChannels [2] ) ; 
waitKey (0); 


return 0; 


值得 注意 的 是 : 使 用 OpenCV 函 数 void split (InputArray m, OutputArrayOfArrays mv) 是 为 了 在 图 像 的 三 通道 中 拆 分 
图 像 m， 并 将 其 保存 在 称 为 mv 的 Mat 向 量 中 。 相 反 ， 函 数 vold merge (InputArrayOfArrays mv, OutputArray dst) 用 于 合 
并 一 幅 dst 图 像 的 所 有 mv 通道 。 而 且 ， 名 为 showSeparatedChannels 的 函数 用 来 创建 三 幅 彩 色 图 像 ， 表 示 每 一 个 通道 。 对 于 每 
个 通道 ， 该 函数 生成 的 vector< Mat>aux 由 通道 目 身 和 两 个 附加 通道 组 成 ， 后 两 者 将 所 有 的 值 都 设置 为 0， 表 示 颜 色 模型 的 其 他 
两 个 通道 。 最 后 ， 合 并 aux 图 片 ， 生 成 只 有 一 个 通道 填充 的 一 幅 图 像 。 该 六 数 代码 如 下 所 示 ， 它 还 将 用 于 本 章 的 其 他 实例 : 


vector<Mat> showSeparatedChannels (vector<Mat> channels) { 
Vector<Mat> separatedChannels; 
/ /创建 每 幅 图 像 的 每 个 通道 
for ( int i=0; i< 3 ; i++){ 
Mat zer=Mat::zeros( channels[0].rows, channels[0].cols, 
channels[0].type()); 
vector«Mat» aux; 
for (int j=0; j < 3 ; j++){ 
1f (j==1) 
aux.push back(channels [i] ) ; 
else 
aux.push back (zer); 


Mat chann; 
merge (aux, chann) ; 


separatedChannels.push back (chann) ; 


| 


return separatedChannels; 


图 4-1 显 示 该 实例 的 输出 : 
2. 灰 度 图 


在 灰 度 图 中 ， 每 个 像素 值 表 示 只 有 灰 度 强度 信息 的 单一 值 ， 由 不 同 的 灰色 阴影 特别 形成 的 一 幅 图 像 。OpenCV 中 ，RGB 和 
grayscale (Y) 之 间 进 行 转换 的 颜色 空间 转换 代码 使 用 cvtColor， 它 可 以 是 COLOR BGR2GRAY, COLOR RGB2GRAY、 
COLOR GRAY2BGR 和 COLOR GRAY2RGB。 这 些 变换 的 内 部 计算 如 下 : 


名 注意 RGBI[A] 转 换 为 灰 度 : Y—0.299*R4-0.587*G--0.114*B 
灰 度 转换 为 RGB[A]: R=Y, G=Y, B=Y, A=max (ChannelRange) 


从 上 面 的 公式 知道 ， 由 灰 度 图 直接 检索 颜色 是 不 可 能 。 
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图 4-1 原始 的 RGB 图 像 和 拆 分 的 通道 
Gray 示例 代码 


下 面 的 Gray 示例 同和 您 展示 : 如 何 将 一 幅 RGB 图 像 转 换 为 灰 度 图 ， 并 显示 这 两 幅 图 片 。 示 例 代码 如 下 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


us ing namespace Cv; 


int main(int argc, const char** argv) 


{ 
// 加 载 图 像 
Mat image = imread("Lovebird.jpg") ; 
namedWindow("Picture", WINDOW AUTOSIZE ); 
imshow("Picture",image); £ 


Mat imageGray; 
cvtColor(image, imageGray, COLOR BGR2GRAY) ; 


namedWindow( "Gray picture", WINDOW AUTOSIZE ) ; 
imshow ("Gray picture", imageGray) ; 


waitKey (0); 
return 0; 


图 4-2 展 示 了 代码 的 输出 : 
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图 4-2 ”原始 的 RGB 图 像 和 变换 后 的 灰 度 图 


Qum ”该 方法 将 RGB 转换 为 灰 度 图 的 缺点 是 原始 图 像 对 比 度 的 丢失。 本 书 第 6 章 讲述 了 脱色 过 程 ， 使 用 同样 的 变换 方法 处 


理 这 个 问题 。 


SANE XYZ 


CIE XYZ 系 统 用 一 个 亮 大 分量 Y 来 质 述 颜色 ， 它 与 人 类 视觉 的 腕 大 灵敏 大 和 两 个 附加 通道 X 和 Z 相 天， 为 国际 照明 委员 会 
(CIE) 使 用 来 自 一 些 人 工 观 测 实 验 的 统计 得 到 的 标准 。 这 个 颜色 空间 用 于 报告 测量 仪器 的 颜色 ， 例 如 色 度 计 或 分 光 光 度 计 ， 这 
对 于 通过 各 种 不 同 设备 需要 一 致 的 颜色 表示 时 是 有 用 的 。 该 颜色 空间 的 主要 问题 是 颜色 以 不 均匀 的 方式 家 缩放 。 


这 种 现 脓 导致 了 CIE 采 用 CIE L*ax*b* 和 CIE L*u*v* 模 型 。 


在 OpenCV 中 使 用 cvtColor 在 RGB 和 CIE XYZ 之 间 进 行 转换 的 颜色 空间 转换 代码 是 COLOR_BGR2XYZ、 
COLOR RGB2XYZ, COLOR XYZ2BGR 和 COLOR XYZ2RGB。 这 些 变 换 的 计算 如 下 : 


0.412453 0.357580 0.180423| | R 
=| 0.212671 0.715160 0.072169 |*| G 
0.019334 0.119193 0.950227] | B 


—0.969256 1.875991 0.041556 |*| Y 


X 

Y 

Z 
R 3.240479  —1.53715  -0.498535 | | X 
B 0.055648  —0.204043 1.057311 Z 


CIEXxyz 示 例 代码 


dr 
KA 
dn 
luli 
faa 


下 面 的 CIExyz 示 例 显 示 : 如 何 将 RGB 图 像 转换 到 CIE XYZ 颜 色 空 间 ， 以 及 在 灰 度 空 间 和 颜色 空间 中 拆 分 并 显示 各 
道 。 用 于 加 载 并 转换 图 片 的 第 一 部 分 代码 为 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 
using namespace std; 
using namespace cv; 


vector«Mat» showSeparatedChannels (vector<Mat> channels); 


int main(int argc, const char** argv) 


{ 
// 加 载 图 像 
Mat image = imread("Lovebird.jpg") ; 
imshow("Picture", image) ; 


// 转 换 为 CIEXYZ 
cvtColor (image, image COLOR BGR2XYZ) ; 


下 面 的 代码 ， 在 每 个 CIE XYZ 通 道中 拆 分 图 片 并 显示 它们 : 


vector<Mat> channels; 
split( image, channels ); 


// 在 灰 度 空间 中 显示 通道 

namedWindow("X channel (gray)", WINDOW AUTOSIZE ); 

imshow("X channel (gray)",channels[0]) ; 
namedWindow("Y channel (gray)", WINDOW AUTOSIZE ); 
imshow("Y channel (gray)",channels[1]); 
namedWindow("Z channel (gray)", WINDOW AUTOSIZE ); 
imshow("Z channel (gray)",channels[2]); 


//# BCR 中 显示 通道 


Vector<Mat> separatedChannels-showSeparatedChannels (channels); 


for (int i=0;i<3;i++) { cvtColor(separatedChannels[il,separate 
dChannels[i],COLOR XYZ2BGR); 


| 


namedWindow("X channel", WINDOW AUTOSIZE ); 
imshow("X channel",separatedChannels[0]); 
namedWindow("Y channel", WINDOW AUTOSIZE ); 
imshow("Y channel",separatedChannels[1]); 
namedWindow("Z channel", WINDOW AUTOSIZE ); 
imshow("Z channel",separatedChannels[2]); 


waitKey(0); 


return 0; 


图 4-3 展 示 了 该 代码 的 输出 : 
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图 4-3 ”原始 RGB 图 像 和 拆 分 的 CIE XYZ il ia 


4.YCrCb 


该 颜色 空间 广泛 应 用 于 视频 压缩 和 图 像 压缩 方案 ， 不 能 算是 纯粹 的 颜色 空间 ， 因 为 它 是 RGB 颜 色 空间 的 一 种 解码 方式 。 


通道 表示 亮度 ， 而 Cr 和 Cb 表示 红色 磊 值 (在 RGB 关 色 空间 中 R 通 道 和 Y 之 间 的 帮 值 ) 和 蔓 色 差 值 (在 RGB 颜 色 空 间 中 B 通 道 
和 Y 之 间 的 差 值 ) 各 目的 色 度 分 量 。 该 颜色 空间 广泛 应 用 于 MPEG 和 JPEG 等 视频 和 图 像 压 缩 方案 。 


OpenCV 中 使 用 cvtColor 在 RGB 和 YCrCb 之 间 转 换 的 颜色 空间 变换 代码 是 
COLOR BGR2YCrCb, COLOR RGB2YCrCb, COLOR YCrCb2BGR 和 COLOR YCrCb2RGB。 这 些 变换 的 计算 如 下 : 


Y=0.299*R+0.587*G+0.114*B 

Cr= (R-Y) *0.713+delta 

Cb= (B-Y) *0.564+delta 

R=Y+1.403* (Cr-delta) 

G=Y-0.714* (Cr-delta) -0.344* (Cb-delta) 
B=Y+1.773* (Cb-delta) 


其 中 ，delta 取 值 如 下 : 


128 对 于 8 位 图 像 
delta = 4 32768 对 于 16 位 图 像 
0.5 对 于 浮 点 图 像 


YCrCb 颜 色 示 例 代 码 


下 面 的 YCrCb 颜 色 示 例 向 您 展示 : 如 何 将 一 幅 RGB 图 像 变 损 到 YCrCb 颜 色 空 间 ， 以 及 人 在 灰 度 空间 和 颜色 空间 中 拆 分 并 显示 每 
个 特定 的 通道 。 用 于 加 载 和 变换 图 片 的 第 一 部 分 代码 为 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


using namespace std; 


using namespace cv; 
vector<Mat> showSeparatedChannels(vector<Mat> channels); 


int main(int argc, const char** argv) 


{ 
// 加 载 图 像 
Mat image = imread("Lovebird.jpg") ; 
imshow("Picture", image); 


// 变 换 到 YCrCb 
cvtColor (image, image, COLOR BGR2YCrCb) ; 


下 面 的 代码 ， 拆 分 图 片 到 每 个 YCrCb 通 道 ， 并 显示 这 些 图 片 : 


vector<Mat> channels; 


split( image, channels ); 


// 显 示 灰 度 图 的 通道 

namedWindow("Y channel (gray)", WINDOW AUTOSIZE ); 
imshow("Y channel (gray)",channels[0]) ; 
namedWindow("Cr channel (gray)", WINDOW AUTOSIZE ); 


imshow("Cr channel (gray)",channels[1]) ; 
namedWindow("Cb channel (gray)", WINDOW AUTOSIZE ); 
imshow("Cb channel (gray)",channels[2]) ; 


// X 7 BGR 的 通道 


vector«Mat» separatedChannels-showSeparatedChannels (channels); 


for (int i=0;i<3;i++) { 
cvtColor(separatedChannels[il,separatedChannels[i],COLOR 
YCrCb2BGR); 


} 


namedWindow("Y channel", WINDOW AUTOSIZE ) ; 
imshow("Y channel", separatedChannels [0] ) ; 
namedWindow ("Cr channel", WINDOW AUTOSIZE ); 
imshow ("Cr channel",separatedChannels [1] ) ; 
namedWindow("Cb channel", WINDOW AUTOSIZE ); 
imshow ("Cb channel",separatedChannels[2]); 


waitKey (0) ; 


return 0; 


图 4-4 展 示 了 该 代码 的 输出 : 
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图 4-4 原始 的 RGB 图 像 和 拆 分 的 YCtCb 通 道 


5.HSV 


HSV 颜 色 空间 属于 面向 色 度 的 头 色 坐标 系统 中 的 一 种 。 这 种 类 型 的 颜色 模型 接近 于 人 类 颜色 感知 的 仿真 模型 。 而 在 其 他 颜色 
模型 中 ， 例 如 RGB， 一 幅 图 像 被 视 为 三 种 基色 的 和 加 结果 ，HSV 的 三 个 通道 表示 色 度 (H 给 出 颜色 光谱 构成 的 一 种 度量 ) ， 饱 和 
度 (S 给 出 主 波长 中 的 纯 光 比例 ， 这 表明 一 种 闸 色 距离 相同 亮度 灰 度 的 程度 ) 和 纯度 (V 给 出 相对 于 日 色光 照 强 度 的 亮度 ) ， 对 
应 于 直觉 上 的 色彩 、 明 暗 和 色调 。H3SV 广 泛 应 用 于 色彩 的 比较 ， 因 为 H 几 乎 独立 于 光绪 的 变化 。 图 4-5 展 示 了 该 颜色 模型 ， 每 个 
通道 表示 为 柱 面 的 一 部 分 : 


图 4-5 HSV 颜色 模型 


OpenCV 中 使 用 cvtColor 在 RGB 和 HSV 之 间 变 换 的 颜色 空间 变换 代码 是 COLOR_BGR2HSV、COLOR RGB2HSV.、 
COLOR HSV2BGR 和 COLOR HSV2RGB, 


在 这 种 情况 下 ， 值 得 注意 的 是 ， 如 果 src 图 像 格式 是 8 位 或 16 位 ，cvtColor 首 先 将 其 转换 为 一 个 浮 点 格式 ， 其 值 的 变化 范围 在 
0 到 1 之 间 。 在 此 之 后 ， 变 换 计算 如 下 : 


+- 
se y av #0 
0 否则 
60(G— B 
( ) Xy =R 


V —min(R,G,B) 
60(B—R) -: 

V -min(R,G,B) . 
60(R-G) 3 

V —min(R,G,B) | 


H =4120+ 


240 + 


QUS8H<0, 那么 H=H+360。 最 后 ， 访 值 再 被 转换 为 目标 数据 类 型 。 


HSVcolor 示 例 代 和 码 


下 面 的 HSVcolor 例 子 向 您 展示 ， 如 何 将 一 幅 RGB 图 像 转 换 到 HSV 颜 色 空间 ， 以 及 在 灰 度 和 HSV 图 像 中 拆 分 并 显示 每 个 特定 
通道 。 示 例 代码 为 : 


finclude «opencv2/opencv.hpp- 
finclude <opencv2/imgproc.hpp> 


using namespace std; 
using namespace cv; 


int main(int argc, const char** argv) 


{ 
/ / ioe ES 
Mat image = imread("Lovebird.]jpg"); 
imshow("Picture",image); 


/ /变换 到 HSV 
cvtColor(image,image,COLOR BGR2HSV) ; 


vector«Mat» channels; 


split( image, channels ); 


ERREP SABE 

namedWindow("H channel (gray)", WINDOW AUTOSIZE ) ; 
imshow("H channel (gray)",channels[0]); 
namedWindow("S channel (gray)", WINDOW AUTOSIZE ); 
imshow("S channel igray)",channels|1]l); 
namedWindow("V channel (gray)", WINDOW AUTOSIZE } ; 


imshow("V channel (gray)",channels [2] ); 


namedWindow ("HSV image (all channels)", WINDOW AUTOSIZE }; 
imshow("HSV image (all channels)", image) ; 


waitKey (0); 


return 0; 


图 4-6 展 示 了 该 代码 的 输出 : 


名 注意 OpbenCV 的 imshow 函 数 假 设 图 像 的 颜色 以 RGB 显示 ， 因 此 其 显示 并 不 正确 。 如 果 在 其 他 颜色 空间 中 有 一 幅 图 像 并 且 
硕 望 正确 地 显示 它 ， 那 么 首先 必须 将 其 转换 为 RGB。 


i) Picture 己 | 回 | = | 


| 家中 全 时 国人 Ps 


15. S channel ( [ HSV image (all channels) P | DEUX 


le-"tt*tunpenün«|le-ttun»»bn-| 


(x= 294, y=11) ~ R:231 6:234 B:217 


图 4-6 ”原始 的 RGB 图 像 、HSV 变 换 和 通道 拆 分 


HLS 颜 色 空 间 属 于 面向 色 度 的 颜色 坐标 系统 中 的 一 种 ， 与 乙 前 讲 到 的 HSV 颜 色 模型 类 似 。 开 友 这 个 模型 用 来 指定 每 个 通道 
一 种 颜色 的 色 度 值 、 明 亮度 值 和 饱和 度 值 。 与 HSV 颜 色 模型 不 同 的 是 由 HLS 定 义 的 一 种 纯 颜色 的 亮度 等 于 一 种 中 等 灰色 的 亮度 
而 由 HSV 定 义 的 一 种 纯 颜色 的 亮度 等 于 日 色 的 亮度 。 


中 
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在 OpenCV 中 使 用 cvtColor 在 RGB 和 HLS 之 间 变 换 的 颜色 空间 变换 代码 是 COLOR_BGR2HLS、COLOR_RGB2HLS、 
COLOR HLS2BGR 和 COLOR_HLS2RGB。 在 这 种 情形 中 ， 和 HSV 一 样 ， 如 果 src 图 像 格式 是 8 位 或 16 位 ， 那 么 cvtColor 首 先 将 其 
转换 为 一 个 浮 点 格式 ， 其 值 的 变化 范围 在 0 到 1 之 | 间 。 在 此 之 后 ， 变 换 计算 如 下 : 


Vmax = max (R,G, B) 
Vmin = min (R,G, B) 


L- Vmax - Vmin 


Vmax —Vmin if L<0.5 
Vmax + Vmin 
Vmax — Vmin 


2 — (Vmax 十 Vmin) 


[I 
if Lz:0.5 


60(G-B)/S | ifVmax-R 
H= 120+ 60(B-R)/S if Vmax = G 
240+ 60(R-G)/S if Vmax = B 


如 果 H<0， 那 么 H=H+360。 最 后 ， 访 值 再 被 转换 为 目标 数据 类 型 。 


HLScolor 示 例 代码 


— j= 


下 面 的 HLScolor 示 例 向 您 展示 : 如 何 将 一 幅 RGB 图 像 转换 到 HLS 颜 色 空间 ， 以 及 在 灰 度 图 和 HLS 图 中 拆 分 并 显示 每 个 特定 的 
通道 。 示 例 代码 为 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


using namespace std; 
using namespace cv; 


int main(int argc, const char** argv) 


{ 
// 加 载 图 像 
Mat image = imread("Lovebird.jpg"); 
imshow ("Picture", image); 


// 变 换 到 HLS 
cvtColor (image, image,COLOR BGR2HLS) ; 


vector<Mat> channels; 
split( image, channels ); 


// 在 灰 度 图 中 显示 通道 
namedWindow("H channel (gray)", WINDOW AUTOSIZE ); 
imshow("H channel (gray)",channels[0]); 
namedWindow("L channel (gray)", WINDOW AUTOSIZE ); 
imshow("L channel (gray)",channels[1]); 
namedWindow("S channel (gray)", WINDOW AUTOSIZE ); 
imshow("S channel (gray)",channels[2]) ; 


namedWindow("HLS image (all channels)", WINDOW AUTOSIZE ); 
imshow("HLS image (all channels)",image); 


waitKey(0); 


return O0; 


图 4-7 展 示 了 该 代码 的 输出 : 
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图 4-7 ”原始 的 RGB 图 像 、HLS 变 换 和 通道 拆 分 


7.CIE L*a*b* 


CIE L*a*b" MEn ECE L*u*v* 之 后 由 CIE 标 准 化 的 第 二 个 统一 的 颜色 空间 ， 它 由 基于 ClE XYZ 空 间 和 日 色 参 考点 衍生 而 
来 。 实 际 上 ，CIE L*a*b* 是 由 CIE 指 定 的 最 完整 的 颜色 空间 ,创建 时 是 为 了 与 设备 无 关 的 ， 束 像 CIE XYZ 模 型 一 样 ， 用 来 作为 一 
个 参考 。CIE La*b* 颜 色 空 间 能 够 摘 述 人 眼 可 见 的 颜色 。 它 的 三 个 颜色 通道 表示 : ERES (L*) 的 亮度 ， 在 品 红色 和 绿色 (a*) 之 
间 的 位 置 ， 在 黄色 和 蓝 色 (b*) 之 间 的 位 置 。 


在 OpenCV 中 ， 使 用 cvtColor 在 RGB 和 CIE L*a*b* 之 间 变 换 的 颜色 空间 变换 代码 是 COLOR BGR2Lab, 
COLOR RGB2Lab、COLOR Lab2BGR 和 COLOR Lab2RGB。 在 http://docs-hoffmann.de/cielab03022003.pdf 上 ， 有 用 于 计 
算 这 些 转换 过 程 的 说明 。 


CIElab 示 例 代 码 


下 面 的 CIElab 示 例 向 您 展示 : 如 何 将 一 幅 RGB 的 图 像 转换 到 CIE L*a*b* 颜 色 空间 ， 以 及 在 灰 度 图 和 CIE L*a*b* 图 像 中 拆 分 并 


显示 每 个 特定 的 通道 。 示 例 代码 是 : 


f#include <opencv2/opencv.hpp> 


#include <opencv2/imgproc.hpp> 
using namespace std; 
using namespace cv; 


int main(int argc, const char** argv) 
/ /加载 图 像 
Mat image = imread("Lovebird.jpq") ; 
imshow ("Picture", image) ; 


//® #3] CIE Lab 
evtColor (image, image, COLOR BGR2Lab) ; 


vector<Mat> channels; 
split( image, channels ); 


/7 在 灰 度 图 中 显示 通道 

namedWindow("L channel (gray)", WINDOW AUTOSIZE ); 
imshow("L channel (gray)",channels[01]); 
namedWindow("a channel (gray)!", WINDOW AUTOSIZE ); 
imshow("a channel (gray)",channels[11); 
namedWindow("b channel (gray)", WINDOW AUTOSIZE ]; 
imshow("b channel i(gray)",channelsi21]; 


namedWindow("CIE Lab image (all channels)", WINDOW AUTOSIZE )]; 
imshow("CIE Lab image (all channels)",image); 
waitKey (0) ; 


return 0; 


图 4-8 展 示 了 该 代码 的 输出 : 
8.CIE L*u*v* 


CIE L*u*v*2it 25/2 EAC ERER AREER. CECE XYZ 空 间 和 日 色 参 考点 的 一 种 简化 计算 转换 ， 尝 试 
达到 感知 均匀 性 。 像 CIE L*a*b* 颜 色 空间 一 样 ， 创 建 时 是 为 了 与 设备 无 关 的 。 它 的 三 个 通道 表示 : 颜色 (L*) 的 亮度 ， 位 于 绿色 
和 红色 (u*) 之 间 的 位 置 ， 最 后 一 个 表示 在 多 大 程度 上 是 蓝 色 和 紫色 类 型 颜色 (v*) 。 由 于 其 线性 又 加 特性 ， 该 颜色 模型 用 于 光 
的 于 加 混 色 ， 如 图 4-8 所 示 。 
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图 4-8 原始 的 RGB 图 像 、CIE L*a*b* X J4 fo38 38 JE Z7 


在 OpenCV 中 使 用 cvtColor 在 RGB 和 CIE L*u*v* 之 间 变 换 的 颜色 空间 变换 代码 是 COLOR_BGR2Luv、COLOR RGB2Luv, 
COLOR Luv2BGR 和 COLOR Luv2RGB。 有 关 计 算 这 些 变换 的 过 程 ， 可 以 参 
&http://docs.opencv.org/trunk/modules/imgproc/doc/miscellaneous transformations.html#cvtcolor 


下 面 的 CIELuvcolor 示 例 向 您 展示 : 如 何 将 一 幅 RGB 图 像 转 换 到 CIE Luv AERE, LAUS TEIXISESRUCIE L*u*v* 图 像 中 拆 


分 并 显示 每 个 特定 的 通道 。 示 例 代码 是 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


using namespace std; 
using namespace cv; 


int main(int argc, const char** argv) 


// 加 载 图 像 
Mat image = imread("Lovebird.jpg") ; 
imshow("Picture", image) ; 


/ /变换 到 CIE Luv 
cvtColor (image, image, COLOR BGR2Luv) ; 


vector<Mat> channels; 

split( image, channels ); 

// 在 灰 度 图 中 显示 通道 

namedWindow("L channel (gray)", WINDOW AUTOSIZE )j; 
imshow("L channel (gray)",channels[0]) ; 
namedWindow("u channel (gray)", WINDOW AUTOSIZE ); 
imshow("u channel (gray)",channels[1]); 


namedWindow("v channel (gray)", WINDOW AUTOSIZE ); 
imshow("v channel (gray)",channels[2]); 


namedWindow("CIE Luv image (all channels)", WINDOW AUTOSIZE ); 
imshow("CIE Luv image (all channels)",image); 


waitKey (0); 


return 0; 


图 4-9 展 示 了 该 代码 的 输出 : 
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图 4-9 ”原始 的 RGB 图 像 、CIE L*u*v* & 25038 38 Ap Z7- 


Bayer 像 素 空间 组 合 被 广泛 用 于 只 有 一 个 图 像 传 感 器 的 数字 相机 。 与 有 三 个 传感器 的 相机 不 同 (每 个 RGB 通道 一 个 传感器 ， 
可 以 获取 每 个 特定 分 量 的 所 有 信息 ) ， 在 有 一 个 传感器 的 相机 中 ， 每 个 像素 被 一 个 不 同 的 颜色 滤波 器 宪 产 ， 因 此 对 每 个 像素 只 测 


量 这 个 颜色 。 使 用 Bayer 廊 法 时 ,会 利用 其 邻居 推断 丢失 的 颜色 信息 。 它 允许 从 单个 平面 得 到 完整 的 颜色 图 片 ， 其 像素 是 按 如 下 
万 式 交 错 (图 4-10) : 


图 4-10 Bayer X 45] 


全 注意 Bayet 模 式 表示 为 G 像 素 比 R 像 素 和 B 像 素 更 多 ， 因 为 人 眼 对 于 绿色 频谱 更 敏感 。 


所 示 模 式 的 一 些 修改 是 通过 在 任意 方向 一 个 像素 的 模式 移动 来 获得 的 。 在 OpenCV 中 ， 从 Bayer 到 RGB 转换 的 颜色 空间 转换 
代码 被 定义 为 : 将 第 二 行 的 第 二 和 第 三 列 的 分 量 (分 别 为 X 和 Y) 当做 COLOR_BayerXY2BGR。 例 如 ， 之 前 图 片 的 模式 有 一 
个 “BG” 类 型 ， 因 此 它 的 转换 代码 是 COLOR_BayerBG2BGR。 

Bayer 示 例 代码 

下 面 的 Bayer 例 子 向 您 展示 ， 如 何 将 一 幅 由 一 个 图 像 传感器 获得 的 RG Bayer 模 式 所 定义 的 图 片 转换 到 一 个 RGB 图 像 。 示 例 代 
码 为 : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


us ing namespace CV; 


int main(int argc, const char** argv) 


// 在 颜色 中 显示 bayered AK 


= imread("Lovebird bayer color.jpg") ; 


Mat bayer color 


namedWindow ("Bayer picture in color", 


imshow ("Bayer p 


/ /加载 bayered A 


icture in color",bayer color); 


f 


WINDOW AUTOSIZE ); 


Mat bayer - imread("Lovebird bayer.jpg",CV 8UC3); 
namedWindow("Bayer picture ", WINDOW AUTOSIZE ); 
imshow("Bayer picture",bayer); 


Mat imageColor; 
cvtColor (bayer, 


imageColor, COLOR BayerRG2BGR) ; 


namedWindow( "Color picture", WINDOW AUTOSIZE ) ; 
imshow("Color picture",imageColor); 


waitKey(0); 


return 0; 


图 4-11 展 示 了 该 代码 的 输出 : 


E) Bayer picture in color c3 | 回 


e»t &igp » »tNH 


| (x=268, y=103) ~ R:0 G:245 B:0 


8 Bayer picture 


^» T $i npn»p»Hmn-€ 


(x=266, y=103) ~ 1:239 


8 | Color picture | 


e»t 4 inpo»pHmn-€ 


(x=258, y=69) ~ R:243 G:241 B:227 


图 4-11 Bayet 模 式 图 像 和 RGB 变换 


每 种 颜色 空间 代表 一 幅 图 像 ， 表 示 用 每 个 像素 的 每 个 通道 来 度量 其 具体 特征 的 数值 。 考 虑 到 这 些 特征 ， 有 可 能 使 用 线性 边界 
道 一 个 空间 ) 来 划分 颜色 空间 ， 人 允许 根 据 其 所 位 于 的 划分 来 分 类 每 个 像素 ， 因 此 ， 人 允许 及 用 预 
定义 的 特征 来 选取 一 个 像素 集合 。 这 种 思路 可 用 于 分 割 一 幅 感 兴趣 图 像 中 的 对 象 。 


(例如 ， 三 维 空间 的 平面 和 每 个 通 


—— inRange (InputArray src, InputArray lowerb, InputAr 
元 素数 组 是 否 位 于 两 个 其 他 数组 的 元 素 乙 间 。 融 基于 颜色 空间 的 分 割 而 言 ， 


ray upperb, OutputArray dst) 为数 来 检查 
该 国 数 允许 获取 一 幅 src 图 像 的 像素 集合 ， 其 各 


个 通道 的 值 位 于 下 边界 lowerb 和 上 边界 upperb 之 间 ， 得 到 dst 图 像 。 


Qua lowetb 和 uppetb 边 界 通 常 采用 Scalaf (x, y, z) 来 定义 ， 此 处 ，x、y 和 z 是 定义 为 下 边界 或 上 边界 的 每 个 通道 的 数 
值 。 


下 面 的 例子 同 您 展示 如 何 检 测 可 以 被 认为 是 皮肤 的 像素 。 已 经 观测 到 ， 皮 肤 的 颜色 在 强度 方面 与 色 度 相 比 相 帮 甚 还 ， 所 以 通 
党 对 于 皮肤 检测 并 不 考虑 亮度 分 量 。 这 一 事实 使 得 检测 一 幅 用 RGB 表 示 的 图 片 中 的 皮肤 更 加 困难 ， 这 是 因为 这 种 颜色 空间 对 亮度 
的 依赖 性 ， 所 以 使 用 HSV 和 YCrCb 颜 色 模 型 。 值 得 注意 的 是 ， 对 于 这 种 分 割 类 型 ， 知 道 或 者 获取 每 个 通道 的 边界 值 是 很 有 必要 
的 。 


43 ”颜色 变换 


在 图 像 处 理 中 进行 的 另 一 个 常见 的 任务 是 修改 一 幅 图 像 的 颜色 ， 特 别 是 在 有 必要 删除 一 个 主要 的 或 不 希望 的 颜色 的 场合 。 其 
万 法 之 一 被 称 为 颜色 变换 ， 它 进行 一 组 颜色 修正 ,借助 一 种 源 图 像 的 颜色 特征 ， 将 源 图 像 的 外 观 变换 为 目标 图 像 的 外 观 。 


colorTransfer 示 例 代码 


下 面 的 colorTransfer 示 例 向 您 展示 如 何 转 换 原 图 像 的 颜色 到 目标 图 像 的 颜色 。 访 方法 首先 将 图 像 的 颜色 空间 转换 为 CIE 
L*a*b*。 接 下 来 ， 为 原 图 像 和 目标 图 像 拆 分 通道 。 人 在 此 之 后 ， 使 用 均值 和 标准 差 ， 从 一 幅 图 像 到 另 一 幅 图 像 拟 合 通道 分 布 。 最 
后 ， 这 些 通 道 又 被 合并 到 一 起 ， 并 变换 为 RGB。 


全 注意 对 于 示例 中 所 使 用 变换 的 全 部 理论 细节 ， 请 参考 http://www.cs.tau.ac.il/~turkel/imagepapers/ColorTransfer.pdf 上 的 


《图 像 之 间 的 颜色 变换 》 ( «Color Transfer between Images» ) 。 


将 一 幅 图 像 变 换 到 CIE L*a*b* 颜 色 空 间 的 第 一 部 分 代码 如 下 ( 它 同时 将 图 像 的 类 型 变 为 CV_32FC1) : 


#include <opencv2/opencv.hpp> 
#include <opencv2/imgproc.hpp> 


using namespace std; 
using namespace cv; 


int main(int argc, const char** argv) 


{ 
// 加 载 图 像 
Mat src = imread("clock tower.jpg") ; 
Mat tar = imread("big ben.jpg") ; 


// 变 换 到 Lab 空间 和 CV_32F1 


Mat src_lab, tar_lab; 


cvtColor (src, src lab, COLOR BGR2Lab ) 
cvtColor(tar, tar lab, COLOR BGR2Lab ) 


we 


=e 


src lab.convertTo(src lab,CV 32FC1); 
tar lab.convertTo(tar lab,CV 32FC1); 


下 面 的 代码 进行 如 前 所 述 的 颜色 变换 : 


/ / 为 每 幅 图 像 找到 每 个 通道 的 均值 和 std fi 

Mat mean src, mean tar, stdd src, stdd tar; 
meanStdDev(src lab, mean src, stdd src); 
meanStdDev(tar lab, mean tar, stdd src); 


/7 拆 分 成 独立 的 通道 


vector<Mat> src chan, tar chan; 


Bplit( src lab, src chan ); 
split( tar lab, tar chan ); 


/ /为 每 个 通道 计算 颜色 分 布 
for( int i = 0; i < 3; i++) { 
tar chan[i] -= mean tar.at«double-»(i); 


tar chan[i] *= (stdd src.at«double»(i) / stdd src. 
at<double>(i)); 
tar chan[i] += mean src.at<double> (i); 


// 人 各 并 通道 ， 转 换 到 cv_sucl 的 每 个 通道 ， 并 转换 到 BGR 
Mat output; 

merge(tar chan, output); 

output .convertTo (output, CV_ BUCI); 

evtColor (output, output, COLOR Lab2BGR ); 


//EP BE 

namedWindow ("Source image", WINDOW AUTOSIZE 
imshow("Source image",src); 
namedWindow("Target image", WINDOW AUTOSIZE 
imshow("Target image",tar); 
namedWindowi("Result image", WINDOW AUTOSIZE ); 
imshow("Result image",output) ; 


et 
=. 


Tea 
"a 


waitKey (0) ; 


return 0; 


图 4-14 展 示 了 该 代码 的 输出 : 
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图 4-14 ”一 个 夜晚 场景 的 颜色 变换 示例 


AA se 
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进而 ， 对 使 用 不 同 颜 色 模 型 处 理 图 像 的 可 能 性 以 及 考虑 所 需 操作 来 选取 颜色 空间 的 重要 性 进行 了 重点 说 明 。 为 此 ， 实 现 了 基 
于 颜色 空间 的 分 割 和 颜色 转换 方法 。 


下 章 将 讲述 天 于 视频 和 图 像 序列 的 图 像 处 理 技 术 。 将 学 习 如 何 使 用 OpenCV 实 现 的 视频 稳定 算法 、 超 限 分 辨 率 算 法 和 图 像 拼 


Bom ”视频 图 像 处 理 


本 章 介 绍 与 视频 图 像 处 理 有 关 的 各 种 技术 ， 大 多 数 经 典 图 像 处 理 都 是 处 理 静 态 图 像 ， 基 于 视频 的 图 像 处 理 正 逐 渐 流 行 和 能 够 


TZ 
本 章 主 要 内 容 包 括 : 
- 视频 稳定 性 


- 视频 超 分 辩 率 处 理 


` 图 像 拼 接 


本 草 ， 我 们 将 在 视频 序列 或 实时 摄像 上 进行 工作 。 图 像 处 理 的 输出 可 能 是 一 组 修改 后 的 图 像 ， 也 可 能 是 有 用 的 高 层 信息 。 大 
部 分 图 像 处 理 技术 把 图 像 看 成 是 一 个 二 维 数字 信号 ， 对 其 应 用 各 种 技术。 本 章 将 要 介绍 使 用 各 种 高 级 拷 术 对 来 自视 频 或 实时 摄像 
机 的 图 像 序列 进行 处 理 ， 得 到 或 改进 为 新 的 增强 图 像 序 列 。 因 此 ， 更 有 用 的 信息 被 获得 ， 即 包 售 了 第 三 个 维度 ， 时 间 维 。 


5.1 ”视频 稳定 性 


视频 稳定 性 是 指 用 来 减少 与 摄像 机 运动 有 关 的 模糊 现象 的 一 系列 方法 。 也 就 是 说 ， 它 可 以 补偿 任意 角度 的 运动 ， 相 当 于 摄像 
机 的 偏转 、 倾 斜 、 族 转 以 及 x、y 万 向 上 的 移动 。 第 一 个 图 像 稳 定 沪 置 出 现在 60 年 代 初 期 。 这 些 系统 能 够 轻微 补 傍 摄 像 机 的 拌 动 
和 不 由 目 主 的 运动 。 摄 像 机 受 陛 螺 仪 和 和 加速 器 的 控制 ， 它 们 是 基于 通过 改变 镜头 的 位 置 来 消除 或 减少 不 必要 运动 的 一 些 沪 置 。 目 
前 ， 这 些 方 法 广泛 应 用 于 双 目 望远镜 、 视 频 摄像 机 和 天 文 望 远 镜 。 


对 于 图 像 或 视频 稳定 有 许多 不 同 的 万 法 ， 本 章 主 要 介绍 最 常见 的 一 些 万 法 : 


+ 机 械 稳定 系统 : 这 些 系统 使 用 摄像 机 镜头 上 的 一 种 机 械 系 统 ， 这 样 当 移动 摄像 机 时 ， 运 动 可 以 被 加 速 器 和 陀螺 仪 检 测 到 ， 
并 且 系 统 产 生 一 个 镜头 运动 。 本 章 将 不 考虑 这 些 系统 。 


电子 稳定 系统 : 这 种 稳定 系统 通常 用 于 视频 ， 直 接 处 理由 摄像 机 所 采集 的 图 像 。 在 这 些 系 统 中 ,稳定 图 像 的 表面 比 原 始 图 
像 的 表面 略 小 。 相 机 被 移动 时 ， 通 过 被 采集 图 像 的 移动 来 补偿 这 个 运动 。 尽 管 这 些 技术 可 通过 减少 运动 传感器 的 可 用 区 域 来 有 效 
地 消除 运动 影响 ， 但 是 牺牲 了 图 像 的 分 辨 率 和 清晰 度 。 


钢 频 稳定 性 算法 通 剃 包括 如 下 步骤 (图 5-1) : 


a __... (enn TEA ET 
WM EE 运动 矩阵 稳定 视频 由 稳定 视频 


图 5-1 视频 稳定 算法 步骤 
本 章 主要 介绍 OpenCV 3.0 测 试 版 中 的 videostab 模 块 ， 包 括 可 用 于 解决 视频 稳定 性 问题 的 一 组 函数 和 类 。 
让 我 们 更 详细 地 讨论 一 般 处 理 过 程 。 


第 一 步 ， 通 过 在 连续 帧 之 间 使 用 RANSAC 方 法 进行 帧 间 运 动 的 切 次 估计 ， 实 现 视频 稳定 。 执 行 完 这 个 步骤 之 后 ， 得 到 一 个 
3x3 和 矩阵 的 数组 ， 数 组 的 每 一 项 摘 述 连续 两 帧 的 运动 。 这 一 步 的 全 局 运动 评估 人 至 天 重要 ， 它 将 影响 到 最 终 序 列 稳定 性 的 精确 度 。 


名 注意 您 可 以 在 http://en.wikipedia.org/wiki/RANSAC 找 到 有 关 RANSAC 方 法 的 更 多 详细 信息 。 
第 二 步 ， 基 于 运动 估计 产生 一 个 新 的 帧 序列 。 将 执行 附加 的 处 理 ， 例 如 平滑 、 去 模糊 、 边 界 推 测 等 ， 以 提高 稳定 性 的 质量 。 


第 三 步 ， 去 除 恼 人 的 不 规则 扰动 ， 请 参考 图 ?-2。 假 设 一 种 摄像 机 运动 模型 可 以 对 实际 的 摄像 机 运动 进行 肤 毕 假设 时 ， 这 些 


万 法 可 以 有 效 地 工作 。 


存在 不 规则 扰动 的 图 像 校正 后 的 图 像 


图 5-2 ”消除 不 规则 的 扰动 


在 OpenCV 的 示例 集中 ([opencv source code]/samples/cpp/videostab.cpp) ， 可 以 找到 一 个 视频 稳定 程序 的 示例 。 对 
于 下 面 的 videoStabilizer 示 例 ，videoStabilizer.pro 项 目 需 要 这 样 一 些 库 : 


lopencv core300, lopencv highgui300, lopencv features2d300, lopencv videoio300, and lopencv videostab300, 
下 面 videoStabilizer 示 例 的 创建 ， 使 用 OpenCV 3.0 测 试 版 中 的 videostab 模 块 : 


#include <string> 

#include <iostream> 

#include <opencv2/opencv.hpp> 
#include <opencv2/videostab.hpp> 


using namespace std; 
using namespace cv; 
using namespace cv::videostab; 


void processing (Ptr<IFrameSource> stabilizedFrames, string 
outputPath) ; 


int main(int argc, const char **argv) 


{ 


Ptr<IFrameSource> stabilizedFrames; 
GEY 


{ 


// 1- 难 首 输 入 视频 并 进行 检查 
string inputPath; 
string outputPath; 
if (argc > 1) 
inputPath = argv[1]; 
else 
inputPath = ".\\cube4.avi"; 


if (arge > 2) 
outputPath = argv [32] ; 
else 
outputPath = ".\\cube4 stabilized.avi"; 


Ptr<VideoFileSource> source = makePtr<VideoFileSource> (inputPath) ; 
cout << "frame count (rough): " << source-»count() << endl; 


// 2- 难 音 运动 估计 器 
// 首先 ， 准备 运动 估计 生成 器 。，RANSAC L2 
double min inlier ratio = 0.1; 
Ptr<MotionEstimatorRansacL2> est = makePtr«MotionEstimatorRansacL2»( 
MM AFFINE) ; 
RansacParams rangac = est->rangacParams (); 
ransac.gsize = 3; 
rangac.thresh = 5; 
ransac.epsB = 0.5; 
est-»setRansacParamsí(ransac); 
ast-»satMininlierRatio(lmin inlier ratio); 


// 第 二 ,创建 一 个 特征 检测 器 
int nkps = 1000; 
Ptr«GoodFeaturesToTrackDetector» feature detector = makePtr«GoodFeatur 
esToTrackDetector> (nkps) ; 


// 第 三 ， 创建 运动 合计 鼎 

Ptr<KeypointBasedMotionEstimator> motionEstBuilder = makePtr«KeypointB 

agedMotionEstimator> (est); 
motionEstBuilder-ssetDetector (feature detector); 

Ptr«IOutlierRejector» outlierRejector = 

makePLr«NullOutlierRej]ectors»í); 
motionEstBuilder-»setOutlierRejector(outlierRejector); 


// 3- 准备 稳定 器 
StabilizerBase *stabilizer = 0; 


// 首先 ， $2 RR RERER 
bool isTwoPass = 1; 
int radius pass = 15; 
if (isTwoPass) 


// @A-?T+RERES 


bool est trim = true; 


TwoPassStabilizer *twoPassStabilizer = new TwoPassStabilizer(): 
twoPassStabilizer->setEstimateTrimRatio(est trim); 
twoPassStabilizer->setMotionStabilizer (makePtr«GaussianMot 

ionFilter»(radius pas&Ó)); 


stabilizer - twoPassStabilizer; 
} 
else 
{ 
// 任用 一 个 单程 稳定 器 
OnePassStabilizer *onePassStabilizer = new OnePassStabilizer (); 
onePassStabilizer-»setMotionFilter(makePtr«GaussianMotionFEF 
ilter> (radius pass)); 


stabilizer = onePassStabilizer; 


// 第 二 ,设置 参数 

int radius = 15; 

double trim ratio = 0.1; 

bool incl constr = false; 
stabilizer->setFrameSource (source) ; 
stabilizer-»setMotionEstimator (motionEstBuilder) ; 

stabilizer->setRadius (radius) ; 

stabilizer->setTrimRatio(trim ratio); 

Btabilizer-»setCorrectionForInclusion(incl constr); 

stabilizer-»setBorderMode (BORDER REPLICATE); 


// TEES NE ieu. DEBER 
BtabilizedFrames.reset(dynamic cast<IFrameSource*> (stabilizer) ); 


// 4- 处 理 稳定 帧 。 并 显示 和 保存 结果 
processing (stabilizedFrames, outputPath) ; 


catch (const exception ka) 
cout ee “error: " ee &e.what() << endl; 
stabilizedFrames.release(); 
return -1; 


StabilizedFrames.release () ; 
return 0; 


void processing (Ptr<IFrameSource> stabilizedFrames, string outputPath) 
Í 

VideoWriter writer; 

Mat stabilizedFrame; 

int nframeg = 0; 
double outputFps = 25; 


// HTAR M 
while (!(stabilizedFrame = stabilizedFrames-»nextFrame()).empty()) 
| 


nirames++¢; 


// 初始 化 writer (一 次 )， 并 保存 稳定 帆 
if (!outputPath.empty()) 
{ 
if (!writer.isOpened()) writer.open(outputP 
ath,VideoWriter::fourcc('X','V','I','D'), 
outputFps, stabilizedFrame.size()); 
writer << stabilizedFrame; 


} 


imshow("stabilizedFrame", stabilizedFrame) ; 
char key = static cast<char> (waitKey (3) ) ; 
if (key == 27) { cout << endl; break; } 


1 
J 
cout << "processed frames: " << nframes << endl; 
cout << "finished " << endl; 


该 示例 接受 一 个 输入 视频 文件 的 名 字 作为 一 个 默认 视频 文件 名 (Ncube4.avi) 。 将 显示 视频 结果 并 保存 
为 \cube4 stabilized.avi。 注 意 ， 如 何 包含 videostab.hpp 头 文件 以 及 如 何 使 用 cv: : videostab 命 名 空间 。 本 示例 用 到 4 个 主要 


步骤 。 


第 1 步 准备 输入 视频 路 径 。 本 示例 使 用 了 标准 命令 行 输入 参数 (inputPath=argv[1]) 来 选取 视频 文件 。 如 果 没 有 一 个 输入 
视频 文件 ， 那 么 它 会 使 用 默认 的 视频 文件 (\cube4.avi) 。 


第 2 步 ， 建 立 一 个 运动 估计 器 。 使 用 
OpenCV (Ptr<MotionEstimatorRansacL2>est=makePtr<MotionEstimatorRansacL2> (MM AFFINE) ) 的 一 个 智能 指 
ft (Ptr«object») ， 为 运动 估计 器 创建 一 个 健壮 的 基于 RANSAC 的 全 局 2 维 方法 。 


对 于 稳定 视频 ， 有 一 些 不 同 的 运动 模型 : 
: MM_TRANSLATION=0 

: MM_TRANSLATION_AND_SCALE=1 
- MM_ROTATIO=2 

: MM_RIGID=3 

- MM_SIMILARITY=4 

: MM_AFFINE=5 

: MM_HOMOGRAPHY=6 


: MM_UNKNOWN=7 


需要 在 稳定 视频 的 精度 和 计算 时 间 之 间 进 行 权衡 。 越 是 基本 的 运动 模型 ， 其 精度 融 越 差 ， 但 计算 时 间 更 少 ， 而 越 是 复杂 的 模 
型 ， 其 精度 更 好 ， 但 计算 时 间 更 多 。 


现在 ，RANSAC 对 象 已 经 创建 (RansacParams ransac=est->ransacParams () ) ， 它 们 的 参数 也 已 设置 
(ransac.size，ransac.thresh 和 ransac.eps) 。 还 需要 一 个 特征 检测 器 来 估计 将 用 于 稳定 器 的 每 个 连续 帧 之 间 的 运动 ， 如 表 5-1 
所 示 。 


本 示例 使 用 GoodFeaturesToTrackDetector 方 法 来 检测 (nkps-1000) 每 帧 的 显著 特征 。 然 后 ， 使 用 健壮 的 RANSAC 方 法 
和 特征 检测 器 方法 来 创建 运动 估计 器 ， 其 中 用 到 了 
Ptr<KeypointBasedMotionEstimator> motionEstBuilder=makePtr<KeypointBasedMotionEstimator> (est) 类 ， 并 用 


motionEstBuilder->setDetector (feature detector) 来 设置 特征 检测 器 。 


表 5-1 RANSAC 参 数 


Size 子 集 大 小 

Thresh 内 部 层 分 类 的 最 大 误差 
Eps 最 大 离 群 率 

Prob 成 功率 


第 3 步 ， 创 建 一 个 稳定 器 ， 它 需要 之 前 的 运动 估计 器 。 


可 以 选择 (isTwoPass=1) 一 个 单程 或 双 程 稳定 器 。 如 果 使 用 双 程 稳定 器 (TwoPassStabilizer*twoPassStabilizer=new 
TwoPassStabilizer () ) ， 结 果 通 常会 更 好 。 然 而 ， 在 本 示例 中 ， 计 算 速 度 较 慢 。 如 果 使 用 其 他 选项 ， 比 如 单程 稳定 器 
(OnePassStabilizer*onePassStabilizer=new OnePassStabilizer () ) ， 结 果 更 差 但 是 响应 速度 会 更 快 。 稳 定 器 需要 设置 其 
他 选项 才能 正确 工作 ， 例 如 ， 源 视频 文件 (stabilizer->setFrameSource (source) ) 和 运动 估计 器 (stabilizer-» setMotionE 
stimator (motionEstBuilder) ) 。 上 此外， 还 需要 将 稳定 器 赋 给 简单 帧 源 视频 以 读 到 稳定 帧 


(stabilizedFrames.reset (dynamic cast«l FrameSource*> (stabilizer) ) ) 。 


最 后 一 步 ， 使 用 所 创建 的 稳定 器 稳定 视频 。 构 造 亢 数 processing (Ptr«lFrameSource» stabilizedFrames) 来 处 理 和 稳定 
每 一 个 视频 帧 。 这 个 消 数 需要 引入 一 个 路 径 保 存 所 产生 的 视频 (string outputPath=".//stabilizedVideo.avi") ， 并 设置 播放 速 
Æ (double outputFps=25) 。 之 后 ， 访 国 数 计算 每 个 稳定 帧 直到 没有 更 多 的 帧 (stabilizedFrame=stabilizedFrames- 
>nextFrame () .empty () ) 。 本 质 上 ,， 稳 定 器 首先 估计 每 帧 的 运动 。 该 消 数 创建 一 个 视频 写 
(writer.open (outputPath, VideoWriter: : 
fourcc ( "X , V, T , "D') , outputFps, stabilizedFrame.size () ) ) 来 存储 XVID 格 式 的 每 一 帧 ,最 后 ， 消 
Aarons Maem, BAPE "Esc" $8. 


为 展示 如 何 使 用 OpenCV 稳 定 一 个 视频 ， 采 用 之 前 的 videoStabilizer 例 子 。 这 个 例子 按 如 下 命令 行 执 行 : 


«bin dir>\videoStabilizer.exe.\cube4.avi.\cube4 stabilized.avi, 
Qua 在 OpbenCV 示 例文 件 夹 中 ， 可 以 找到 cube4.avi 视 频 。 其 中 还 有 大 量 的 摄像 机 运动 视频 ， 很 适合 这 个 例子 。 


为 了 显示 稳定 结果 ， 首 先 参见 图 5-3 中 cube4.avi 的 4 帧 。 在 这 些 视频 帧 之 后 的 图 ?5-4， 显 示 了 cube4.avi 和 
cube4 stabilized.avi 里 加 的 前 10 个 帧 ， 其 左 侧 图 是 未 稳定 之 前 的 ， 右 侧 图 是 稳定 之 后 的 。 


图 5-3 ”摄像 机 运动 视频 cube4.avi 的 4 个 连续 帧 


图 5-4 ”没有 稳定 和 稳定 之 后 的 cube4.avi 和 cube4_stabilizated 视 频 的 10 个 重 又 帧 


从 图 5-4 的 右 侧 图 可 见 ， 视 频 稳 定 减少 了 摄像 机 运动 所 产生 的 拌 动 。 


超 分 辩 率 是 指 那 些 专 门 为 增强 一 幅 图 像 或 视频 〈 通 单 是 来 目 于 低 分 辨 率 图 像 序 列 ) 的 空间 分 辨 率 的 技术 或 算法 。 直 分 辨 率 与 
传统 的 图 像 缩放 技术 不 同 ， 后 者 使 用 单 幅 图 像 来 增加 分 辨 率 ， 并 保留 其 铝 利 的 边缘 ， 而 与 此 相反 ， 直 分 辨 率 合 并 来 目 相 同 场景 的 
多 幅 图 像 的 信息 ， 以 便 表 示 那 些 在 原始 图 像 中 最 初 示 被 提 摄 到 的 细 市 。 


担 摄 来 自 现实 生活 场景 的 一 幅 图 像 或 视频 的 过 程 需要 如 下 一 些 步骤 : 
| 采样 : 这 是 来 自 于 一 个 无 混淆 的 理想 离散 系统 场景 的 连续 系统 的 变换 


几何 变换 : 指 的 是 应 用 一 组 变换 ， 例 如 平移 或 旋转 。 这 是 由 于 在 理想 情况 下 ， 由 摄像 机 位 置 与 镜头 系统 来 推断 到 达 每 个 传 


感 器 的 场景 细节 
模糊: 模糊 的 发 生 是 由 于 在 整合 期 间 场 景 中 的 镜头 系统 或 现 有 运动 造成 的 
FRE: 传感器 只 整合 可 供 支 配 的 (感光 ) 像素 个 数 。 


拍摄 图 像 的 过 程 如 图 ?5-5 所 示 : 


数字 图 像 


图 5-5 ”从 真实 场景 中 拍摄 一 幅 图 像 的 过 程 


拍摄 过 程 中 ， 通 过 不 同 的 传感器 整合 场景 的 细节 ， 以 便 每 次 采集 的 每 个 像素 包含 不 同 的 信息 。 因 此 ， 超 分 辨 率 是 基于 皖 试 找 
到 不 同 提 摄 之 间 的 关系 。 这 些 扣 报 获得 了 该 场景 的 不 同 细 节 ， 以 便 用 更 多 信息 创建 一 幅 新 图 像 。 因 此 ， 超 分 状 率 被 用 于 及 用 更 高 
的 分 辨 率 再 生 一 个 离散 场景 。 


可 以 通过 各 种 技术 获得 超 分 辨 灰 ， 从 空间 域 中 最 直观 的 一 些 技 术 到 基于 频谱 分 析 的 一 些 技术 。 这 些 技 术 基 本 上 可 划分 为 光学 
AI (KARL, SEE) 或 基于 图 像 处 理 的 反 术 。 本 章 主 要 介绍 基于 图 像 处 理 的 超 分 状 率 方法 。 这 些 方法 利用 低 分 辨 率 图 像 的 其 
他 部 分 ， 或 其 他 无 关 图 像 ， 来 推断 高 分 辨 图 像 看 起 来 应 该 是 什么 样 。 这 些 算法 还 可 划分 为 频 域 或 空域 。 起 初 ， 超 分 辨 方法 只 对 灰 
度 图 像 的 效果 良好 ， 但 是 ， 新 开 友 出 的 万 法 也 适应 于 彩色 图 像 。 


分 辨 率 人 在 空间 和 时 间 上 计算 要 求 遍 ， 因 为 低 分 辨 率 图 像 和 高 分 辨 率 图 像 的 尺寸 大 ， 生 成 一 幅 图 像 可 能 需要 数 百 秒 。 
为 了 尽量 减少 计算 时 间 ， 目 前 ， 预 处 理 器 党 用 于 对 这 些 消 数 最 小 化 的 优化 器 。 另 一 种 替代 的 方法 是 利用 GPU 处 理 来 改善 计算 时 
间 ， 因 为 超 分 辨 率 处 理 本 质 上 是 并 行 化 。 


本 章 主要 介绍 OpenCV 3.0 测 试 版 中 的 superres 模 块 ， 包 括 可 以 用 于 解决 分 辨 率 增强 问题 的 一 组 函数 和 类 。 该 模块 实现 了 基 
于 图 像 处 理 的 许多 超 分 辨 率 方法 。 本 章 特 别 关 注 所 实现 的 双边 TV-L1 (Bilateral TV-L1，BTVL1) 超 分 辩 率 方法 。 超 分 辨 率 处 理 
的 一 个 主要 难点 是 估计 规整 函数 ， 以 便 建 立 超 分 辨 率 图 像 。 双 边 TV-L1 使 用 光 流 (optical flow) 来 估计 该 规整 函数 。 


Quz T vA fEhttp:/ /www.ipol.im/pub/art/2013/26/ 4X, 8] AK XGA TV-LZr KN $& $ iE 2848 


在 http://en.wikipedia.org/wiki/Optical_flow 找 到 有 关 光 流 方法 的 更 多 详细 信息 。 


Tf. 


Qua 您 也 可 以 从 OpenCV GitHub 知 识 库 中 ， 


在 https://github.com/Itseez/opencv/blob/master/samples/gpu/super_resolution.cpp， 下 载 这 个 例子 。 


对 于 下 面 的 超 分 辩 率 示例 项 目 ，superresolution.pro 项 目 文 件 应 该 包括 这 些 库 : lopencv core300, 


自 
TON 


? 


在 OpenCV 的 示例 中 ([opencv source code]/samples/gpu/super resolution.cpp) ， 可 以 找到 超 分 辨 率 


Em 


的 一 个 基本 例 


lopencv imgproc300, lopencv highgui300, lopencv features2d300, lopencv videoio300 以 及 lopencv superres300 才 


能 够 正确 工作 。 


#include <iostream> 
Binclude <iomanip> 


Hinclude «strings 


#include «opencv2/core.hpp» 

Binclude «opencv2/core/utility.hpp» 

Hinclude «opencv2/highgui.hpp» 

#include «opencv2/imaproc.hpps» 

#include «opencv2/superresz.hpp» 

#include «opencv2/guperreg/optical flow.hpp> 
Binclude <opencv2/opencv_modules.hpp> 


using namespace std; 
using namespace cv; 
using namespace cv: :superres; 


static Ptr<«eDenseOpticalFlowExt> createOptFlow(string name) ; 
int main(int arge, char *argv[]) 
// 1- 初始 化 初始 套数 
FE 输入 和 输出 视频 
string inputVideoName; 
string outputVideoName; 
if {argc > 1) 
input VideoName argv[i]; 
else 
inputVideoName = ".\\tree.avi"; 
if {argc > 2) 
output VideoName argv |2]; 
else 
outputVideoName = ".\\tree superresolution.avi"; 


const int scalae = 4;// 尺度 因子 
const int iterations = 180;// RAŠ 
const int temporalAreaRadius -4;// BRAS [civ Eis 


string optFlow = "farneback";// 光 流 算法 
// optFlow 'farneback"; 


// optFlow = "tvli"; 
// optFlow = "brox"; 


// aptFlow 


double outputFps = 25.0;// ERAR S H 


"Dyrlk",; 


// 2- 创建 一 小 光 流 方法 
Ptr<DenseOpticalFlowExt> optical flow = createOptFlow(optFlow); 


if (optical flow.emptyil] 


// 3- Sisi o EO GEHE ER 
Ptr<SuperResolution> superkes; 
superRes = createSuperResolution BIVL1(); 


superRes-»set("opticalFlow", optical flow); 


superRes->set("scale", scale); 


superRes->set ("iterations®, 


return -1; 


superRes->set ("temporalAreaRadius", 


Ptr<FrameSource> frameSource; 
frameSource = createFrameSource Video (inputVideoName) ; 


superRes->seatiInput (framesource) ; 


// 不 使 用 第 一 是 


Mat frame; 


ErameSource->snextFrame (frame) ; 


// &- 用 超 分 辩 率 处 理 输 入 视频 
PEE 显示 初始 选项 


cout << "Input 


frame.sgizeíl 


cout 
cout 
cout 
cout 
cout 
cout 


caut 


= 


2E 


= 


<< endl; 

"Output 

"Playback speed output 
"Scale factor 
"Iterations 


|. "Temporal radius 
|: "Optical Flow 
endl ; 


VideoWriter writer; 


double start time,finish time; 


for 


{ 


(ant 1 = 0;; ++i} 


cout «<< '[' eg setwi3) << 1 ge 
Mat result; 


iterations) ; 


temporalAreaRadius) ; 


n] 


inputVideoName << " " ee 


outputVideoName << endl; 
eutputFps << endl; 

scale << endl; 

iterations << endl; 
temporalAreaRadius << endl; 
optFlow << endl; 


/i 计算 处 理 时 间 
start time = getTickCount [}; 
superkes->nextFrame (result) ; 
Finish time getTickCount (} ; 
cout << (finish time - start_time) /getTickFrequency(} << " 


secs, Size: " << result.size() << endl; 
if (result.empty()) break; 


// Baek 
imshow("Super Resolution", result); 


if (waitKey(1000) > 0) break; 


// SERRE B B xd 
if (loutputVideoName.empty()) 


f 
i! 


if (iwriter.isOpened () ) 
writer.open(outputVideoName, VideoWriter::fourcc('ZX', 
'v', 'I', 'D'), outputFps, result.size()); 


writer << result; 


j 
writer.release(í); 
return 0; 


1 
j 


static Ptr<DenseOpticalFlowExt> createOptFlow(string name) 


I 
i 


1f (name "farneback" | 
return createOptFlow Farneback () ; 


else if (name == "tvli") 
return createOptFlow DualTVLl(); 


else if iname "brox"] 
return createOptFlow Brox CUDAIÍ); 


else if (name == "pyrlk"] 


return createOptFlow PyrLK CUDA([); 


else 
cerr << "Incorrect Optical Flow algorithm - " << name << endl; 


return Ptr«DenseOpticalFlowExtsí]; 


本 示例 创建 了 一 个 “ 超 分 辨 率 ) 程序 来 获取 具有 超 分 辨 率 的 视频 。 它 接受 一 个 输入 视频 的 路 径 或 使 用 一 个 默认 的 视频 路 径 
(Atree.avi) 。 所 产生 的 视频 锐 显 示 和 保存 为 .\tree_superresolution.avi。 在 示例 的 开始 处 ， 包 售 了 superres.hpp 和 
superres/optical flow.hpp 两 个 头 文件 ， 并 使 用 cv: : Superres 命 名 空间 。 该 示例 接 下 来 包括 了 4 个 重要 步骤 ( 见 表 5-2) 。 


第 1 步 ， 设 置 初 始 参数 。 正 是 输入 视频 路 径 使 用 了 标准 输入 (inputVideoName=argv[1]) 来 选取 视频 文件 ， 如 果 没 有 一 个 
输入 视频 文件 ， 束 使 用 一 个 默认 的 视频 文件 。 输 出 视频 路 径 也 使 用 了 输入 标准 (outputVideoName=argv[2]) 来 选取 输出 视频 
文件 ， 如 果 没 有 输出 视频 文件 ， 就 使 用 默认 的 输出 视频 文件 (Mree superresolution) , 并且 还 设置 了 输出 播放 速度 (double 
outputFps=25.0) 。 该 超 分 辨 率 方法 的 其 他 重要 参数 是 : 尺度 因子 (const int scale=4) , ORZ (const int 
iterations=100) ， 临 时 搜索 区 域 的 半径 (const int temporalAreaRadius-4) 和 光 流 算法 (string 


optFlow="farneback") 。 


第 2 步 ， 创 建 一 个 光 流 万 法 ， 以 检测 显著 特征 并 在 每 个 视频 帧 中 对 其 进行 妃 路 。 已 经 创建 了 一 种 新 方法 (static 
Ptr«DenseOpticalFlowExt» createOptFlow (string name) ) ， 用 于 在 不 同 的 光 流 方法 中 进行 选择 。 您 可 以 在 farneback、 


tvl1、brox 和 pyrlk 几 种 光 流 方法 中 进行 选择 。 为 了 创建 一 个 光 流 方法 来 追踪 特征 ， 需 要 写 一 种 新 方法 (static 
Ptr«DenseOpticalFlowExt» createOptFlow (string name) ) ， 为 此 有 两 种 最 重要 的 方法 : 

Farneback (createOptFlow Farneback () ) 和 TV-L1 (createOptFlow DualTVL1 () ) 。 第 一 种 方法 基于 Gunner 
Farneback 算 法 ， 计 算 帧 中 所 有 点 的 光 流 。 第 二 种 方法 计算 (基于 TV 能 量 的 对 偶 方 法 ) 两 个 图 像 帧 之 间 的 光 流 ， 并 采用 一 种 有 
效 的 逐 点 国 值 步骤 。 第 二 种 方法 的 计算 效率 更 高 。 


表 5-2 不 同 光 流 方法 之 间 的 比较 


方法 复杂 度 并 行 性 
Farneback -次 的 [a 


TV-L1 线性 的 是 
Brox 线性 的 是 
PyrLK 线性 的 ff 


Qua fi "T VA Ehttp:/ /www.diva-potrtal.org/smash/get/diva2:273847/FULLTEXTO[1.pdfl, 7 AR2) Æ 3A XFarneback AAA 
法 的 知识 。 


第 3 步 ， 创 建 并 设置 超 分 辩 率 方法 。 创 建 该 方法 的 一 个 实例 (Ptr<SuperResolution>superRes) ， 使 用 到 双边 TV-L1 算 法 
(superRes=createSuperResolution BTVL1 () ) 。 对 于 该 算法 ， 这 个 方法 有 如 下 一 些 参数 : 


scale: 这 是 尺度 因子 
- iterations: 这 是 迭代 次 数 
` tau: 这 是 最 速 梯度 下 降 法 的 一 个 渐 近 值 


: lambda: 这 是 权 值 参数 ， 为 了 平衡 数据 项 和 平滑 项 


- alpha: 这 是 双边 TV 中 空间 分 布 的 一 个 参 
: btvKernelSize: 这 是 双边 TV 滤波 核 的 大 小 

- blurKernelSize: 这 是 高 斯 模糊 核 的 大 小 

- blurSigma: 这 是 高 斯 模糊 标准 差 

- temporalAreaRadius: 这 是 临时 搜索 区 域 的 半径 


opticalFlow: 这 是 一 个 稠 冤 光 流 算法 


superRes->set ("parameter", value) ; 


只 需 设 置 下 面 的 这 些 参数 ， 其 他 的 参数 使 用 其 默认 值 : 


superRes-»set("opticalFlow", optical flow); 
superRes-»set("scale", scale); 

superRes->set ("iterations", iterations); 

superRes->set ("temporalAreaRadius", temporalAreaRadius) ; 


之 后 ， 选 取 输 入 的 视频 帧 (superRes->setInput (frameSource) ) 。 


最 后 一 步 ， 处 理 输入 视频 ， 计 算 超 分 状 率 。 对 于 每 个 视频 帧 ， 计 算 它 的 超 分 辩 率 
这 个 计算 的 性 能 非常 低 ， 因 此 为 显示 进度 需要 估计 处 理 时 间 。 最 后 ， 显 示 每 个 结果 帧 
Resolution", result) ) ， 并 进行 保存 (writer« <result) , 


(superRes->nextFrame (result) ) ; 
( 


imshow ("Super 


为 显示 超 分 辨 率 的 结果 ， 对 有 超 分 辨 率 的 和 无 超 分 辨 率 的 tree.avi 视 频 和 tree_ superresolution.avi 视 频 的 第 一 帧 中 的 很 小 一 
部 分 进行 比较 (图 5-6) : 


图 5-6 中 的 右 仙 部分， 由 于 超 分 辩 率 过 程 ， 可 以 观察 到 一 棵 树 的 树叶 和 树 术 的 更 多 细节 。 


图 5-6 ”有 超 分 辩 率 过 程 和 无 超 分 辩 率 过 程 的 tree.avi 视 频 和 tree_superresolution.avi 视 频 的 第 一 帧 的 一 部 分 


5.3. 拼接 


图 像 拼接 或 照片 拼接 ， 可 以 友 现 具有 一 定 重 革 部 分 的 图 像 之 间 的 对 应 天 系 。 这 个 过 程 结 合 一 组 具有 视图 重 蔷 区域 的 图 像 ， 产 
生 一 幅 全 景 图 像 或 高 分 辨 率 图 像 。 大 多 数 的 图 像 拼接 技术 都 需要 图 像 之 间 的 几乎 完全 重 嫩 ， 以 生成 无 颖 的 拼接 结果 。 某 些 数 码 相 
机 可 以 将 一 组 图 像 进 行内 部 拼接 ， 建 立 全 景 图 像 。 图 5-7 显 示 了 一 个 例子 : 


图 5-7 用 拼接 产生 的 一 幅 全 最 图 像 


Ora 在 http://en.wikipedia.org/wiki/Image_stitching 可 以 找到 前 面 的 图 像 例 子 和 有 关 图 像 拼接 的 更 多 信息 。 
通常 ， 拼 接 可 以 划分 为 3 个 重要 步骤 


(图 像 ) 配 准 意味 着 在 一 组 图 像 中 进行 特征 匹配 ， 了 寻找 使 重合 像素 之 间 差 的 绝对 值 之 和 为 最 小 的 一 个 位 移 。 可 以 使 用 直线 
对 齐 方 法 得 到 更 好 的 结果 。 用 户 还 可 以 添加 一 个 粗略 的 全 景 模 型 帮助 进行 特征 匹配 ， 在 这 种 情况 下 ， 结 果 通 常会 更 精确 ， 且 计算 
更 快 o 


(AR) 校准 专注 于 最 小 化 理想 模型 和 相机 镜头 系统 之 间 的 差异 : 不 同 的 相机 位 置 和 光学 缺陷 ， 例 如 ， 失 真 、 上 曝光、 色差 


(ER) 合成 使 用 上 一 步 校 准 的 结果 ， 与 图 像 的 重 映射 结合 ， 得 到 输出 投影 。 图 像 之 间 的 色彩 也 有 所 调整 ， 对 曝光 差异 进 
行 补偿 。 使 图 像 混合 在 一 起 ， 并 按 拼 接线 进行 调整 ， 使 图 像 之 间接 颖 的 可 见 性 最 小 化 。 


当选 取 来 自 空间 中 相同 点 的 一 些 图 像 片 段 时 ， 则 可 利用 各 种 地 图 投影 方法 中 的 一 种 进行 拼接 。 下 面 给 出 了 一 些 最 重要 的 地 图 


“ 直线 投影 : 在 一 个 与 单个 点 的 全 最 球面 相交 的 二 维 平 面 上 显示 拼接 图 像 。 现 实 中 的 直线 显示 是 相似 的 ， 而 不 考虑 它们 在 图 
像 上 的 方向 。 当 有 广阔 的 视角 时 (120 度 左右 ) ， 图 像 在 接近 边缘 处 被 扭曲 。 


` 柱 面 投影 : 此 处 ， 拼 接 图 像 显示 了 一 个 360 度 的 水 平视 野 和 一 个 有 限 的 重 直 视野 。 这 种 投影 意味 着 将 图 像 包 误 成 一 个 圆柱 
体 ， 并 从 内 部 查看 。 当 在 一 个 二 维 平面 上 显示 拼接 图 像 时 ， 水 平方 向 的 直线 出 现 弯曲 ， 而 重 直 方向 的 直线 仍然 是 直 的 。 


: 球面 投影 (Spherical projection) : 此 处 ， 拼 接 图 像 显 示 了 一 个 360 度 的 水 平视 野 和 180 度 的 垂直 视野 ， 即 整个 球面 。 使 用 这 
种 投影 的 全 景 图 像 意味 着 将 图 像 包 衷 成 一 个 球体 ， 并 从 内 部 查看 。 当 在 一 个 二 维 平面 上 显示 时 ， 和 在 柱 面 投影 中 一 样 ， 水 平 直线 
出 现 弯 曲 ， 而 生 直 直线 仍然 生 直 。 


立体 投影 (Stereographic projection) 或 鱼 眼 投 影 (fisheye projection) : 这 种 投影 可 用 于 通过 一 个 向 下 的 虚拟 相机 ， 并 将 视 
野 设 置 得 足够 大 以 显示 整个 地 面 以 及 地 面 上 的 菜 些 区 域 ， 来 构成 一 个 小 小 的 星球 全 景 ; 而 将 雇 拟 相机 向 上 ， 可 创建 一 个 隧道 效 
No 


Panini 投影 : 这 是 专业 投影 ， 相 比 常 规 的 制图 投影 方法 ， 可 能 具有 更 令 贷 心 悦 目 的 优点 。 这 种 投影 在 相同 的 图 像 上 结合 
不 同 的 投影 ， 以 调整 所 输出 全 景 图 像 的 最 终 外 观 。 


本 章 重点 介绍 OpenCV 3.0 测 试 版 中 的 stitching 模 块 和 detail 子 模块 ， 包 括 实现 一 个 拼接 器 的 一 组 函数 和 类 。 利 用 这 些 模 
块 ， 配 置 或 跳 过 某 些 步 又 是 可 能 的 。 所 实现 拼接 实例 的 通用 流程 图 如 图 5-8 所 示 。 


选取 图 像 和 匹配 
子 集 建立 全 景 图 


特征 匹配 


BAAR 


输入 图 像 


找到 
peste 


AMEE ICTR FE 扭曲 图 像 细 化 摄像 机 参数 


扭曲 
当前 图 像 


补偿 
曝光 误差 


重新 定义 
图 像 大 小 \ 


在 OpenCV 的 示例 中 ， 有 两 个 基本 的 拼接 实例 ， 可 以 在 [opencv_source_codel]/samples/cpp/stitching.cpp] 和 
[opencv source code]/samples/cpp/stitching detailed.cpp] 处 找到 。 


对 于 下 面 更 高 级 的 stitchingAdvanced 例 子 ，stitchingAdvanced.pro 项 目 文件 必须 包括 如 下 一 些 库 才 能 正常 工作 : 
lopencv core300, lopencv imgproc300, lopencv highgui300, lopencv features2d300, lopencv videoio300, 


lopencv imgcodecs300f[llopencv stitching300, 


#include <iostream> 

#include <string> 

#include <opencv2/opencv_modules.hpp> 
#include <opencv2/core/utility.hpp> 
#include <opencv2/imgcodecs.hpp> 


#include 
#include 
#include 
#include 
#include 
#include 
#ineclude 
#include 
#include 
#include 


#inelude 


«opencva /highgui .hpp> 

<opency: /features2d.hpp> 
«opencv2/stitching/detail/blendersg.hpps 
«opencv2/stitching/detail/camera.hpp» 
eopencv2/stitching/detail/exposure compensate.hpp» 
copencv2/sgtitching/detail/matchars.hpp» 

<opency2 /stitching/detail/motion estimators .hpp> 
«opencv2/sgtitching/detail/seam finders .hpp> 
<opencv2/stitching/detail/util.hpp> 
«opencv2/stitching/detail/warpers.hpp-» 
«opencv2/stitching/warpers.hpp-» 


using namespace std; 
using namespace cv; 
using namespace cv::detail; 


int main(int argc, char* argqvi]l) 


i 
L 

if RAER 

vector<String> img names; 
double scale = 1; 
etring features type = "orb";//^surt- E “orb” #7228 
float match conf = 0.3f; 
float conf thrash = 1.f; 
string adjuster method = "ray",//^reproj^ or “rey” 调节 器 方法 
bool do wave correct - true; 
WaveCorrectKind wave correct type - 
string warp type - 
int expos comp type - 
BEtring seam find type = "gc color"; 
float blend strength - 5; 
int blend type s Blender::MULTI BAND; 
string result name = "panorama result.jpg"; 


WAVE CORRECT HORIZ; 
"spherical"; 
ExposureCompensator:: GAIN BLOCKS F; 


double start time = getTickCount (); 


// 1- 输入 图 像 
lf large > 1) 
! 


L 


for(int i=l; i < argc; i++] 
img names.push back(argv[il);: 

] 

else 

{ 


L 
img names.push back("./panorama imagel.jpg"); 


img names.push back("./panorama image2.jpg"); 


[o 


// HEEPRESAER 
int num images = static cast<int>(img_names.size()); 
if (num images < 2) {cout << "Need more images" << endl; return -1; } 


// 2- 调整 图 像 的 大 小 和 找到 特征 的 步骤 
cout «« "Finding features..." << endl; 
double t = getTickCount(); 


Ptr<FeaturesFinder> finder; 
if (features type == "surf") 
finder = makePtr«SurfFeaturesFinder»(); 


else if (features type == "orb") 
finder s makerPtr«OrbFeaturesFinder»í);: 


else {cout << "Unknown 2D features type: '" << features type << 
endl; return -1; ! 


Mat full img, img; 
vector«ImadqeFeatures» features (num images) ; 
Yector<Mat> images (num_images) ; 


vector«Size» full img sizesí(num images); 


for (int i = 0; i « num images; ++1) 

{ 
full img = imread(img_names[i]); 
full img sizes[i] = full img.size(); 


if (full img.empty()) (cout << "Can't open image " «<< img 
names[i] «« endl; return -1; ) 


resize(full img, img, Size(), scale, scale); 
images[i] = img.clone(); 


(*finder) (img, features[il); 
Features[i].img idx = i; 
cout << "Features in image #" << i¢1 << " are : " << 
features [i] .keypoints.size() << endl; 
} 
finder-»collectGarbage(); 
full img.release(); 
img.release(); 


cout << "Finding features, time: " << ((getTickCountí() - t) / 
getTickFrequency()) << " sec" << endl; 
// 3- ER d dE 


cout «« "Pairwise matching" «« endl; 
t = getTickCount(); 


vector«MatchesInfo» pairwise matches; 
BestOf2NearestMatcher matcher (false, match conf); 

matcher (features, pairwise matches); 

matcher.collectGarbage(); 

cout << "Pairwise matching, time: " «« ((getTickCount() - t) / 
qetTickFrequency()) «« " sac" «<< andl; 


// 4- 选取 图 像 并 匹配 子 全 ， 以 建立 全景 图 像 
vector<int> indices = leaveBiggestComponent (features, pairwise 
matches, conf thresh) ; 
vector«Mat» img subset; 
vector<String> img names subset; 
vector<S5ize> full img sizes subset; 
for (size t i = 0; i < indices.size(); ++i) 
{ 
img names subset.push back (img names [indices[i]]); 
img subset.push back (images [indices[i]]}; 
full img sizes subset .push back(full img sizes [indices [i]]}; 
j 
images - img subset; 
imy names = imd names subset; 
full img sizes = full img sizes subset; 


Af HBS fa ir OL E Be 

HomographyBasedEstimator estimator; 

vector«CameraParams» cameras; 

if (lestimator(features, pairwise matches, cameras)) {cout << 


"Homography estimation failed." << endl; return -1; ) 


for (size t i = 0; i < cameras.Bize(]; ++i) 
i 
Mat 及 ; 
cameras [i] .R.convertTo(R, CV 32F) ; 
cameras [i].R = R; 
cout «e "Initial intrinsic #" «« indices ([i]+1 «« ":\n" ee 
camerasg[i].K() << endl; 


j 


Ptr<BundleAdjusterBase> adjuster; 
if (adjuster method == "reproj") 
fi “repro j” 方法 
adjuster = makePtr<BundleAdjusterReproj>(); 
else // -H - Fiz 


adjuster = makePtr«BundleAdjusterRay»(); 


adjuster->setConfThresh(conf thresh) ; 


if (!(*adjuster) (features, pairwise matches, camerag)) {cout << 
"Camera parameters adjusting failed." << endl; return -1; | 


// 找到 中 值 焦距 
vector<double> focals; 
for (size t i = 0; i < cameras.size(); ++i) 


{ 
cout «« "Camera id" «« indices [iJ41 << ":\n" «« cameras [i] .K(} 
<< endl; 
focals.push back (cameras [i] . focal); 
} 


sort(focals.beginí(), focals.end()); 
float warped image scale; 
if (focals.size() * 2 == 1) 


warped image scale = static cast«float»(focals[focals.size(] / 
21); 
else 
Warped image scale = static_cast<float>(focals([focals.size() / 
2 - 1) + focals[focals.size() / 2]) * 0.5£; 


// 6- 载波 相关 (可 选 ) 
if (do wave correct] 
í 
vector«Mat» rmats; 
for (size t i = 0; 1 « cameras.size(); ++i) 
rmats.push back (cameras [i].R.clone[)); 


waveCorrectiírmats, wave correct type); 


for (size t i = D; i « cameras.sizel); ++i) 
cameras[i].R - rmats[i]; 
) 
// 了- "ku Ed 
cout << "Warping images (auxiliary)... " << endl; 


t = getTickCount (); 

vecLor«Point» corners (num images); 
vector«UMat» masks warped {num_images} ; 
vector<UMat> images warped(num images); 
vecLor«Size» sizes (num_images) ; 
yvector<UMat> masks (num images); 


// 准备 图 像 捷 码 
for (int i = 0; i « num images; ++i) 
{ 
masks [i] . create (images [i].size(), CV BU); 


masks[i].setTo(Scalar::all(255]]; 


// 地 图 投影 
Ptr<eWarperCreator> warper_creator; 
if (warp type == "rectilinear" ) 
warper creator = makePtr<cv: :CompressedRectilinearWarper>(2.0£, 1.0f); 


else if (warp type == "cylindrical") 
warper creator = makePtrecv::CylindricalWarper»(); 


else if (warp type == "spherical") 
warper creator = makePtrecv: :SphericalWarper> () ; 


else if (warp type == "stereographic") 
warper creator = makePtr<cv: :StereographicWarper>() ; 


else if (warp type == "panini") 
warper creator = makePtr«cv::PaniniWarper»(2.0f, 1.0f); 


if (!Iwarper creator) { cout << "Can't create the following warper 
'" «« warp type << endl; return 1; \ 


Ptr<RotationWarper> warper = warper creator-»create(static 
cast<float>(warped_ image scale * scale)); 


for (int i = 0; i « num images; +41} 

| 
Mat «float» EK; 
camerasB[i].K().convertTo(K, CV 32F); 
float swa = (floatL)scale; 
K(0,0) *- swa; K(D,2) *- swa; 
K(1,1) *= swa; KÍí1,2] *- swa; 


corners[i] = warper-»warp(images[i], K, cameras[i].R, INTER 
LINEAR, BORDER REFLECT, images warped[il):; 


sizes[i] = images warpedli].size(); 


warper-»warp(masks[i], K, cameras[i].R, INTER NEAREST, BORDER 
CONSTANT, masks warped[i]); 


} 


vector<UMat> images warped fínum images); 
for (int i = 0; i « num images; ++i) 
images warped[i].convertTo[images warped f[i], CV 32F); 


cout «« "Warping images, time: " «« ((qetTickCount() - t) / 
getTickFrequency()]) << " sec" << endl; 


// 8-3 MEWGERE 


Ptr<ExposureCompensator> compensator = ExposureCompensator::createDefa 


ult(expos comp type); 
compensator-»feed(corners, images warped, masks warped) ; 


// 9- RARBG 
Ptr<SeamFinder> seam finder; 
if (seam find type == "no") 
seam finder = makePtr«NoSeamFinder:s(); 


else if (seam find type == "voronoi") 
seam finder = makePtr<VoronoiseamFinder>() ; 


else if [seam find type == "gc color") 
seam finder = makePtr<GraphCutSeamFinder> (GraphCutSeamFinderBa 
se::COST COLOR); 


else iL (seam find type mms "gc _ colorgrad") 
seam finder = makePtr<GraphCutSeamFinder>(GraphCutSeamFinderBa 
se::COST COLOR GRAD); 


else if (seam find type == "dp color") 
seam finder = makePtr«DpSeamFinder»(DpSeamFinder::COLOR); 


else if (seam find type == "dp colorgrad") 
seam finder = makePtr<DpSeamFinder>(DpSeamFinder: :COLOR_GRAD) ; 


if (!seam finder) {cout << "Can't create the following seam finder 
'" ec seam find type << endl; return 1; } 


seam finder-»find[images warped f, corners, masks warped); 


FE 2.3 43: E 
images.clear(); 

images _warped.clear({); 
images warped f.clear(); 
masks .c¢lear() ; 


// 10- 创建 一 个 混合 器 
Ptr«Blender» blender = Blender: :createDefault lblend type, false) ; 
Size dst sz = resultRoi(corners, sizes) .size(} ; 
float blend width = sqrt (static_cast<float>(dst_sz.area()}) * 
blend strength / 100.£; 
if (blend width « 1.f) 
blender = Blender: :createDefault (Blender::NO, false); 


else if (blend type == Blender: :MULTI_EAND) 
{ 
MultiBandBlender* mb = dynamic cast<MultiBandBlender*>(blender.get()); 
mb-»setNumBands(static cast<int> (ceil (log(blend width) / 
logi2.3} -= 1.3}; 


cout << "Multi-band blender, number of bands: " << mb- 
»numBandsí() << endl; 


} 
else if (blend type == Blender: : FEATHER) 
{ 
FeatherBlender* fb = dynamic cast«FeatherBlender*»(blender.get()); 
Íb--setSharpness(l.f/blend width); 


cout << "Feather blender, sharpness: " << fb-»ssharpnessí() ee 
endl ; 


} 


blender->prepare(corners, sizes); 


// 11- (BR) kt E 

coub «« "Compositing..." «« endl; 
t = getTickCount (); 

Mat img warped, img warped s; 


Mat dilated mask, seam mask, mask, mask warped; 


for (int img idx = 0; img idx < num images; ++img ids) 
i 


cout << "Compositing image #" << indices [img idx]+1 << endl; 


// 11.1- E ABER, SERRSRRAKS 
full img = imread(img names[img idx]); 


if (abs({scale - 1) > 1a-1) 
resize(full img, img, Size(), scale, scale); 
else 
img = full img; 


full _img.release{}; 
Size img size = img.size(); 


Mat K; 
cameras [img_idx] .K().convertTo(K, CV 32F); 


// ii.2- * à Bp md 
warper-»warp(img, K, cameras [img idx].R, INTER LINEAR, BORDER REFLECT, 
img warped); 


// 11.2- Ed E ape gj 

mask.create(img size, CV 8U); 

mask.setTo(Scalar::a11(255)); 

Warper->warp(mask, K, cameras[img idx].R, INTER NEAREST, 
BORDER CONSTANT, mask warped); 


// 11.3- MEER E 
compensator-sapply(img idx, corners[img idx], img warped, mask 
warped) ; 


img warped.convertTo(img warped s, CV_16S); 
img warped.release() ; 
img.release(); 


mask.release(í); 


dilate (masks warped[img idx], dilated mask, Matí)); 
resize(dilated mask, seam mask, mask warped.size()) ; 


mask warped = seam mask & mask warped; 


// 11.4- ék Bb bm 


blender->feed(img warped s, mask warped, corners[img idx]); 


| 


Mat result, result mask; 
blender->blend(result, result mask); 


cout «« "Compositing, time: " «« ((getTickCount() - t) / 
getTickFrequency()}) << " sec" << endl; 

imwrite (result name, result); 

cout << "Finished, total time: " << ((getTickCount() - start time) 
/ getTickFrequency()) << " sec" << endl; 


return 0; 
| 
本 示例 创建 一 个 程序 ， 使 用 OpenCV 步 又 来 拼接 图 像 。 采 用 一 个 输入 路 径 选 取 不 同 的 输入 图 像 ， 或 使 用 默认 的 输入 图 像 
(Apanorama image1.jpg 和 panorama image2.jpg) (ŠEMA) 。 最 后 ， 显 示 生 成 的 图 像 ， 并 保存 
7J.\panorama result.jjpg。 首 先 ，stitching.hpp 和 各 种 detail 头 文件 被 包含 ， 并 使 用 cv: : detail 命 名 空间 。 各 种 更 重要 的 参数 
也 被 设置 ， 可 以 用 这 些 参 数 来 配置 拼接 过 程 。 如 果 需 要 使 用 一 个 目 定 义 配置 ， 理 解 上 述 拼接 过 程 的 通用 流程 图 是 很 有 用 的 。 这 个 
高 级 实例 有 11 个 重要 步骤 : 


第 1 步 ， 读 取 并 检查 输入 图 像 。 该 实例 需要 两 幅 或 更 多 幅 图 像 才 能 运行 。 


第 2 步 ， 使 用 double scale=1 参 数 调 整 输 入 图 像 的 大 小 ， 并 找到 每 幅 图 像 的 特征 。 可 以 利用 string features type="orb" 参 
数 ， 人 在 Surf (finder=makePtr<SurfFeaturesFinder> () ) Orb (finder=makePtr<OrbFeaturesFinder> () ) 特征 查找 
器 之 间 进 行 选择 ， 然 后 ， 调 整 输入 图 像 的 大 小 (resize (full img, img, Size () , scale, scale) ) ， 并 寻找 特征 

( (*finder) (img, features[i]) ) 。 


Quz 有 关 SURF 和 ORB 描 述 符 的 更 多 信息 ， 参 看 Packt 出 版 社 出 版 的 《OpenCV Essentials» 89 $535. 


第 3 步 ， 匹 配 之 前 找到 的 特征 。 使 用 参数 float match conf=0.3f 创 建 一 个 匹配 器 (BestOf2NearestMatcher 


matcher (false，match conf) ) 。 


第 4 步 ， 选 取 图 像 并 匹配 子 集 ， 以 建立 全 景 图 像 。 然 后 ， 选 取 最 优 特征 ， 并 利用 函数 
vector<int>indices=leaveBiggestComponent (features, pairwise matches, conf thresh) 进行 匹配 。 使 用 这 些 特征 创 


建 一 个 新 的 子 集 ， 以 备 使 用 。 


第 5 步 ， 利 用 捆绑 调整 ， 细 化 全 局 参数 ， 建 立 一 个 调整 器 (Ptr<BundleAdjusterBase>adjuster) 。 对 给 定 的 一 个 图 像 集 
合 ， 它 摘 述 了 来 目 各 种 视角 的 一 些 二 维 或 三 维 的 像素 点 ， 可 以 将 捆绑 调整 定义 为 二 维 或 三 维 坐标 的 同步 精 化 问题 : 描述 场景 的 几 
何 形状 ， 以 及 相关 运动 参数 和 所 采用 的 摄像 机 的 光学 特征 ， 以 便 根 据 最 优 准 则 获取 图 像 (包括 所 有 像素 点 对 应 的 图 像 投 影 ) 。 有 
两 种 方法 计算 这 种 捆绑 调整 ，reproj (adjuster=makePtr<BundleAdjusterReproj> () ) 或 者 
ray (adjuster=makePtr<BundleAdjusterRay> () ) ， 利 用 string adjuster method="ray" 参 数 可 确定 选择 哪 种 方法 来 计算 
捆绑 调整 。 最 终 ， 捆 绑 调 整 被 用 作 (*adjuster) (features, pairwise matches, cameras) 。 


第 6 步 ， 为 可 选 步骤 (bool do wave correct=true) ， 计 算 载 波 相 关 性 来 改善 摄像 机 的 设置 。 利 用 WaveCorrectKind 
wave correct type=WAVE CORRECT HORIZ 参 数 来 选择 载波 相关 性 的 类 型 ， 并 根据 
waveCorrect (rmats，wave correct type) 计算 载波 相关 性 。 


第 7 步 ， 创 建 一 幅 宁 曲 图 像 ， 这 需要 一 个 地 图 投影 。 各 种 地 图 投影 前 面 已 经 介绍 了 ， 可 以 是 直线 的 、 圆 柱 形 的 、 球 面 的 、 立 
体 的 或 panini。 实 际 上 ， 在 OpenCV 中 实现 了 更 多 地 图 投影 。 可 以 使 用 string warp_type= "spherical "参数 来 选择 地 图 投影 。 然 
后 ,创建 一 个 warper (Ptr<RotationWarper>warper=warper creator- 
>create (static cast<float> (warped image scale*scale) ) ) ， 并 弯曲 每 一 幅 图 像 (warper- 


>warp (masks[i], K, cameras[i].R, INTER NEAREST, BORDER CONSTANT, masks warped[i]) ) . 


第 8 步 ， 通 过 创建 一 个 补偿 器 (Ptr«ExposureCompensator» compensator- ExposureCompensator: : 
createDefault (expos comp type) ) ， 补 偿 曝光 误差 ， 并 将 其 应 用 于 每 一 幅 弯 曲 图 像 (compensator- 


>feed (corners，images warped，masks warped) ) 。 


第 9 步 ， 寻 找 接 缝 掩 码 。 这 个 过 程 为 每 幅 全 景 图 像 搜 索 最 佳 依附 区 域 。 在 OpenCV 中 实现 了 执行 这 一 任务 的 一 些 广 法， 该 示 
例 使 用 string seam find type= "gc color" 人 参数 选择 这 些 方法 。 这 些 方法 是 : NoSeamFinder (这 个 方法 不 使 用 ) 、 
VoronoiSeamFinder, GraphCutSeamFinderBase: : COST COLOR, GraphCutSeamFinderBase: : 

COST COLOR GRAD, DpSeamFinder: : COLOR#JDpSeamFinder: : COLOR GRAD, 


第 10 步 ， 创 建 一 个 合成 器 ， 将 每 幅 图 像 结合 起 来 构成 一 幅 全 景 图 像 。 在 OpenCV 中 实现 了 两 种 类 型 的 合成 器 : 
MultiBandBlender*mb=dynamic_cast<MultiBandBlender*> (blender.get () ) 和 
FeatherBlender*fb=dynamic_ cast<FeatherBlender*> (blender.get () ) ， 使 用 int blend type=Blender: : 
MULTL_BAND 参 数 进行 合成 器 类 型 的 选取 。 最 后 ， 对 合成 器 进行 准备 (blender-» prepare (corners, sizes) ) 。 


最 后 一 步 ， 合 成 最 终 的 全 景 图 像 。 这 个 步骤 需要 前 面 已 经 完成 的 步骤 去 配置 拼接 。 为 了 计算 最 终 的 全 景 图 像 ， 执 行 四 个 子 步 
又: 首先 ， 读 取 每 幅 输 入 图 像 (fullimg=imread (img_nameslimg_idx]) ) ， 如 果 必 要 ， 调 整 图 像 的 大 小 
(resize (full img, img, Size () , scale, scale) ) 。 第 二 ， 用 所 创建 的 warper (warper- 
>warp (img, K, cameras[img idx].R, INTER LINEAR, BORDER REFLECT, img warped) ) 弯曲 这 些 图 像 。 第 三 ， 用 所 
创建 的 补偿 器 补偿 这 些 图 像 的 曝光 误差 (compensator- 
>apply (img idx，corners[img idx], img warped, mask warped) ) 。 最 后 ， 利 用 所 创建 的 合成 器 合成 这 些 图 像 。 最 终 产 
生 的 全 景 图像 被 保存 在 string result name="panorama result.jpg "文件 中 。 


为 显示 stitchingAdvanced 结 果 ， 两 幅 输 入 图 像 被 拼接 ， 所 产生 的 全 景 图 像 如 图 5-9 所 示 。 


图 5-9 ”两 幅 输 入 图 像 拼接 而 成 的 全 景 图 像 


5.4 小结 


本 章 ， 学 习 了 如 何 使 用 OpenCV 的 三 种 主要 模块 进行 视频 中 的 图 像 处 理 。 这 些 模块 是 : 视频 稳定 、 超 分 辨 率 和 拼接 。 并 对 每 
个 模块 的 一 些 理论 基础 进行 了 说 明 。 本 章 的 每 个 小 节 都 对 用 C+ + 语言 开发 的 一 个 完整 示例 进行 了 说 明 ， 还 显示 了 每 个 模块 所 产 
生 的 图 像 ， 说 明 其 主要 效果 。 

下 一 章 将 介绍 高 动态 范围 图 像 ， 并 向 您 展示 如 何 用 OpenCV 处 理 这 些 图 像 。 高 动态 范围 成 像 现在 通常 被 看 成 是 计算 摄影 学 的 
范围 。 粗 略 地 讲 ， 计 算 摄影 学 指 的 这 样 的 一 些 技术 : 允许 您 去 扩展 数码 摄影 的 典型 能 力 。 可 能 包括 硬件 扩展 或 修改 ， 但 主要 还 是 
8 基于 软件 的 技术 。 这 些 技术 可 以 产生 一 些 使 用 “传统 的 ”数码 相机 所 不 能 获得 的 输出 图 像 。 


SOR ”计算 摄影 学 


计算 摄影 学 指 的 是 允许 扩展 数字 摄影 典型 功能 的 技术 。 计 算 摄 影 学 可 以 包括 硬件 插件 或 增补 件 ， 然 而 ， 大 部 分 是 指 基 于 软件 
的 一 些 拷 术 。 这 些 技术 可 以 产生 那些 不 能 通过 传统 的 数码 相机 获取 的 输出 图 像 。 本 章 介 绍 在 OpenCV 中 针对 计算 摄影 学 鲜 为 人 知 
的 可 用 技术 : 高 动态 沁 围 (High-Dynamic-Range，HDR) 成 像 、 无 颖 合成、 脱色 和 非 真 实感 泻 染 。 这 三 方面 包含 在 库 的 


photo 模 块 内 部 。 注 意 : 该 模块 内 部 的 其 他 技术 (图像 修 复 和 去 噪 ) 已 经 在 前 面 的 章节 中 介绍 过 了 。 


我 们 处 理 的 典型 图 像 每 个 像素 有 8 位 (bits per pixel, bpp) 。 彩 色 图 像 也 是 用 8 位 表示 每 个 通道 ( 即 红 、 绿 和 蓝 ) 的 值 。 
这 束 意 味 着 只 使 用 256 种 不 同 的 强度 值 。 这 个 8bpp 限 制 在 整个 数字 成 像 的 历史 上 都 是 占 主导 位 置 的。 但 是 ， 显 然 目 然 光线 不 止 
256 种 不 同色 阶 。 因 此 ， 我 们 应 该 考虑 这 种 离散 化 是 否 可 取 或 足够 充分 。 例 如 ， 众 所 周知 人 眼 可 以 捕获 高 得 多 的 动态 筷 围 (在 最 
暗 级 别 和 最 亮 级 别 之 间 的 光照 亮度 阶 数 ) ， 估 计 其 学 围 在 1 到 100 万 级 光照 强度 。 


对 于 只 有 256 种 光线 级 别 ， 在 某 些 情 况 下 ， 亮 光 出 现 过 度 曝光 或 饱和 ， 而 黑暗 场景 只 是 被 简单 地 捕获 为 黑色 。 


仓 企 可 以 担 摄 超过 8bpp 的 摄像 机 。 但 是 ， 创 建 高 动态 学 围 图 像 的 最 单 用 方法 是 使 用 一 个 8bpp 的 摄像 机 ， 并 用 不 同 的 曝光 值 
担 摄 照 上 请 。 当 我 们 这 样 做 的 时 候 ， 动 态 学 围 有 限 的 问题 是 显而易见 的 。 例 如 ， 考 虑 图 6-1。 


图 6-1 使 用 6 种 不 同 曝光 值 拍摄 一 个 场景 


全 注意 左上 方 的 图 像 以 黑色 为 主 ， 而 窗口 细节 是 可 见 的 。 相 反 ， 右 下 方 的 图 像 显示 了 房间 的 细节 ， 而 窗口 细节 几乎 看 不 


可 以 使 用 现代 智能 手机 摄像 头 来 担 摄 不 同 曝光 度 级 别 的 图 片 。 例 如 ， 采 用 iOs 8 系统 的 iPhone 和 iPad， 很 容易 用 本 地 相机 应 
用 程序 改变 曝光 度 。 通 过 触摸 屏幕 ， 会 出 现 一 个 黄色 框 ， 并 在 一 侧 出 现 一 个 小 太阳 。 向 上 滑动 或 向 下 滑动 可 以 改变 其 曝光 度 (Ul 
图 6-2) 。 


Qua 曝光 度 级 别 的 范围 非常 大 ， 因 此 可 能 必须 多 次 重复 滑动 手势 。 
如 果 使 用 以 前 的 iOs 版 本 ， 可 以 下 载 相机 应 用 程序 ， 例 如 Camera+ ， 人 允许 聚焦 到 一 个 特定 点 并 改变 曝光 度 。 


对 于 Android 系 统 ， 很 多 相机 应 用 程序 在 Google Play 上 可 用 ， 可 以 调整 曝光 度 。 一 个 例子 是 Camera FV-5， 既 有 免费 版 本 
义 有 付费 版 本 。 


QET 如果 使 用 一 个 手持 设备 拍摄 图 片 ， 应 该 确保 设备 是 静止 的 。 实 际 上 ， 不 妨 用 一 个 三 脚 架 。 否 则 ， 不 同 骂 光 值 的 国 
像 不 能 对 齐 ( 对 准 ) 。 而 且 ， 移 动物 体 将 不 可 避免 地 产生 伪 影 。 对 大 部 分 情况 来 说 ， 具 有 低 、 中 、 高 曝光 度 的 三 幅 图 像 就 足够 
To 
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图 6-2 ”使 用 iPhone 5S 本 地 相机 应 用 程序 的 曝光 控制 


智能 手机 和 平板 便于 拍摄 大 量 不 同 曝光 度 的 图 像 。 为 了 创建 HDR 图 像 ， 需 要 了 解 所 拍摄 的 每 幅 图 像 的 曝光 (或 快门 ) 时 间 
(原因 请 参考 下 一 节 ) 。 并 非 所 有 的 应 用 程序 都 允许 进行 手动 控制 (甚至 查看 ) 这 个 (iOS 8 本 地 应 用 程序 就 不 能 这 样 ) 。 当 写 
这 些 应 用 程序 时 ， 对 于 iOS， 人 至 少 有 两 个 免费 的 应 用 程序 是 允许 这 样 做 的 : ManuallyffiManualShot! 在 Android 系 统 中 ， 免 费 
的 Camera FV-5 人 允许 控制 和 查看 曝光 时 间 。 注 意 ，F/Stop 和 1SO 是 另外 两 个 控制 曝光 度 的 参数 。 可 以 将 所 拍摄 的 图 像 转移 到 开 
发 电脑 上 ， 并 用 于 创建 HDR 图 像 。 


Que 如 在 iOS 7 系统 上 ， 本 地 相机 应 用 程序 有 一 个 HDR 模 式 ， 可 以 自动 地 在 一 个 快速 序列 中 拍摄 三 幅 图 像 ， 每 幅 图 像 都 
有 不 同 的 曝光 度 。 这 些 图 像 也 被 自动 地 组 合成 一 幅 〈 有 时 效果 更 好 的 ) 图 像 。 


在 合成 照 上 请 中 ， 通 弟 想 要 在原 图 像 中 裁减 一 个 对 象 或 人 ， 并 将 其 插入 到 一 个 目标 图 像 中 。 当 然 ， 这 可 以 用 一 种 简单 的 方式 完 


成 ， 通 过 将 对 象 简单 地 粘贴 。 然 而 ， 这 种 方法 不 能 产生 一 种 真实 效果 。 例 如 ， 见 图 6-7， 这 里 我 们 想 要 将 上 半 区 图 像 中 的 船 插入 
到 下 半 区 图 像 的 海水 中 。 


一 -一 = = 


——.,  -, 


gee 


{OpenCV 3 中 ， 有 一 些 无 颖 合成 的 函数 可 用 于 产生 更 具 真 实感 的 结果 。 这 个 国 数 称 为 seamlessClone， 所 使 用 的 方法 是 由 
Perez 和 Gangnet 在 2003 年 提出 的 。 下 面 的 SeamlessCloning 示 例 向 您 展示 如 何 使 用 该 方法 : 


#include <opencv2/photo.hpp> 
#include <opencv2/highgui .hpp> 
#include <iostream> 


using namespace cv; 
using namespace std; 


int main(int, char** argv) 
{ 
// 加 载 并 显示 图 像 
Mat source = imread("sourcel.png", IMREAD COLOR); 
Mat destination = imread("destinationl.png", IMREAD COLOR) ; 
Mat mask = imread("mask.png", IMREAD COLOR); 
imshow("source", source) ; 
imshow("mask", mask) ; 
imshow("destination", destination); 


Mat result; 

Point p; // p 将 靠近 右上 角 

p.x (float)2*destination.size().width/3; 

p.y = (float)destination.size() .height/4; 

seamlessClone(source, destination, mask, p, result, NORMAL CLONE); 


imshow("result", result); 


cout << "\nDone. Press any key to exit...\n"; 
waitKey(); // 等 待 按键 


return 0; 


XMIFA Rigs. seamlessClonegSxXHOSE e. HERBER, LUE EI EREEIERERBU— te, GRZRDEARA, Bh 
A- MR RANE (这 三 幅 图 像 可 以 
Mhttps://github.com/Itseez/opencv extra/tree/master/testdata/cv/cloning/Normal Cloning 下 载 ) 。 结 果 见 图 6-8: 
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图 6-8 ”无 颖 合成 


seamlessClone 的 最 后 一 个 参数 表示 所 使 用 的 具体 方法 (有 三 个 方法 可 用 ， 可 产生 不 同 的 最 终 效 果 ) 。 另 一 方面 ， 库 中 提供 
的 相关 函数 如 表 6-1 所 示 。 


表 6-1 库 中 提供 的 相关 函数 


colorChange 原始 图 像 的 三 个 计 — 3 E TB iB 3e A SE pe TRE ) 
illuminationChange | MÆ JE E Da A YER Z^ s DX Ja ) 
textureFlattening 冲洗 原始 图 像 的 纹理 C EH fede 25 E DX b ) 


和 seamlessClone 刚 好 相反 ， 这 三 个 遂 数 只 接受 原始 图 像 和 掩 码 图 像 。 


6.3 Are 


脱色 是 将 一 幅 彩 色 图 像 转 换 为 灰 度 图 像 的 过 程 。 对 于 此 定义 ， 读 者 可 能 会 问 ， 我 们 不 是 已 经 进行 灰 度 转换 了 吗 ? 是 的 ， 灰 度 
转换 是 OpenCV 和 所 有 图 像 处 理 库 中 的 一 个 基本 例 程 。 标 准 转换 是 基于 R、G 和 B 通 道 的 一 个 线性 组 合 。 问 题 是 这 种 转换 可 能 产生 
损失 了 原始 图 像 对 比 度 的 图 像 。 原 因 是 两 种 不 同 的 颜色 (它们 被 作为 原始 图 像 的 对 比 度 被 感知 ) 最 终 可 能 被 映射 为 同一 个 灰 度 
值 。 考 虑 将 A 和 B 两 种 头 色 的 转换 为 灰 度 ,假设 在 R 和 G 通 道中 ，B 是 A 的 一 种 变换 形式 : 


A= (R, G, B) =>G= (R+G+B) /3 
B= (R-x, G+x, B) =>G= (R-x+G+x+B) /3= (R+G+B) /3 


尽管 认为 A 和 B 是 两 种 不 同 的 颜色 ， 但 是 A 和 B 却 被 映射 为 同一 个 灰 度 值 ! 下 面 decolorization 示 例 的 图 6-9 显 示 了 这 种 情况 。 


#include <opencv2/photo.hpp> 
#include «opencv2/highgui.hpp» 
#include <iostream> 


using namespace cv; 
using namespace std; 


int main(int, char** argv) 


// 加 载 并 显示 图 像 
Mat source = imread("color image 3.png", IMREAD COLOR) ; 
imshow("source", source); 


// BH, 计算 并 显示 标准 灰 度 变换 


Mat grayscale = Mat(source.size(),CV 8UC1); 
cvtColor(source, grayscale, COLOR BGR2GRAY) ; 
imshow ("grayscale",grayscale) ; 


// 计算 并 显示 脱色 


Mat decolorized = Mat (source.size(),CV 8UC1); 


Mat dummy = Mat (source.size(),CV_8UC3) ; 
decolor (source, decolorized, dummy) ; 
imshow ("decolorized",decolorized) ; 


cout << "\nDone. Press any key to exlt...YXn"; 


waitKey(); // 等 待 按键 


return 0; 


(x2364. v=103) ~ 1:171 1 («2273. v=?) ~ 1:166 


图 6-9  decolotization 7 4^] $4 4 Œ 


这 个 例子 比较 简单 ， 在 读 取 图 像 并 显示 标准 灰 度 变 换 的 结果 之 后 ， 它 使 用 decolor 函 数 执行 脱色 。 所 使 用 的 图 像 
(color image 3.pngX 4t) @&tthttps://github.com/Itseez/opencv_ extra/tree/master/testdata/cv/decolor 上 的 


opencv _extra 资 源 库 中 。 


Quz 在 该 例子 中 所 使 用 的 图 像 实 际 上 是 一 种 极端 情况 。 所 选取 的 颜色 使 得 其 标准 灰 度 输出 极为 相似 。 


6.4 ” 非 真实 感 图 像 泻 染 


作为 photo 模 块 的 一 部 分 ， 可 以 使 用 4 个 函数 以 某 种 方式 来 转换 一 幅 输 入 图 像 ， 以 产生 一 幅 昌 不 具有 真实 感 但 具有 艺术 感 的 
输出 图 像 。 这 些 函 数 易 于 使 用 ， 且 OpenCy (npr demo) 中 还 包含 了 一 个 很 好 的 例子 。 为 了 更 好 地 说 明 ， 这 里 向 您 展示 一 个 表 
( 表 6-2) ， 以 便 掌 握 每 个 函数 的 作用 。 查 看 包含 在 OpenCV 中 的 fruits.jpg 输 入 图 像 ， 如 图 6-10 所 示 。 


图 6-10 ”输入 参考 图 像 


表 6-2 ”这些 函数 的 作用 


m 效果 
平滑 是 一 种 简便 并 频繁 使 用 的 滤波 各 。 该 限 数 在 实 
现 平 滑 的 同时 还 保留 了 对 象 边 比 的 细 方 。 
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pencilSketch 采用 像 铅笔 一 样 的 线条 来 画 输 入 图 像 的 版 本 
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Stylization 水 彩 效果 


本 草 学 习 了 什么 是 计算 摄影 学 ， 及 其 在 OpenCV 3 中 可 用 的 相关 函数 。 说 明了 photo 模 块 中 最 重要 的 遂 数 ， 但 注意 该 模块 的 
一 个 飞速 友 展 的 领域 ,与 计算 机 图 形 学 有 紧密 的 关 


其 他 函数 (修复 和 降低 噪声 ) 已 经 在 之 前 的 章节 中 介绍 过 了 。 计 算 摄影 学 
联 。 因 此 ，OpenCV 的 该 模块 预期 会 在 未 来 的 版 本 中 得 到 增强 。 


下 一 章 将 重点 介绍 我 们 还 未 涉及 的 一 个 重要 内 容 : 时 间 。 前 面 的 很 多 


何 使 用 最 新 的 硬件 解决 时 间 问 题 。 
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果 。 下 一 章 将 介绍 如 


第 7/ 章 “加速 图 像 处理 


本 章 涉 及 图 像 处 理 任务 的 加 速 话题 ， 使 用 通用 图 形 处 理 单元 GPGPUs (General Purpose Graphics Processing Units) , 
或 简 计 之 ， 带 并 行 处 理 的 GPU。GPU 本 质 上 是 一 个 专门 为 图 形 处 理 或 浮 点 运算 而 设计 的 协 处 理 器 ， 目 标 是 改善 诸如 视频 游戏 和 
交互 三 维 图 形 之 类 的 应 用 程序 的 性 能 。 当 图 形 处 理 在 GPU 上 执行 时 ，CPU 可 以 用 来 进行 其 他 计算 (如 像 游 戏 中 的 人 工 智 能 音 
分 ) 。 每 个 GPU 配 备 了 数 百 个 简单 处 理 核 ， 人 允许 在 数 百 个 “简单 的 ” 浮 点 数 数学 运算 上 执行 大 规模 的 并 行 处 理 。 


这 些 CPU 似 乎 已 经 达到 了 其 速度 和 热能 极限 。 建 立 一 台 市 有 多 个 CPU 的 计算 机 已 成 为 一 个 复杂 的 问题 ， 这 正 是 GPU 友 挥 作 
用 的 地 万 。GPU 处 理 是 一 种 新 的 计算 学 式 ， 它 米 用 GPU 来 改善 计算 性 能 。 最 初 ，GPU 用 来 实现 某 些 称 为 图 元 的 并 行 运算 ,使 图 
形 处 理 得 到 了 优化 。 最 常见 的 三 维 图 形 处 理 基 元 之 一 是 有 反 锯 齿 ， 使 得 图 形 的 边缘 有 一 个 更 芝 真 的 外 形 。 其 他 基 元 是 绘制 矩形 图 、 
三 角形 图 、 圆 形 图 和 弧 形 图 。 目 前 ，GPU 包 括 了 数 百 个 通用 处 理 消 数 ， 可 以 完成 比 图 形 泻 染 更 多 的 工作 。 特 别 是 在 可 以 被 并 行 
处 理 的 任务 中 ，GPU 非 常 有 价值 ， 被 应 用 到 许 许 多 多 的 计算 机 视 完 算法 中 。 


OpenCV 库 中 包括 了 对 OpenCL 和 CUDA GPU 架构 的 支持 。CUDA 实 现 了 许多 算法 ， 但 它 只 能 与 NVIDIA 图 形 卡 协同 工作 。 
CUDA 是 一 种 并 行 计算 平台 和 编程 模型 ， 由 NVIDIA 创 建 ， 并 由 其 所 生产 的 GPU 实现 。 本 章 重 点 介绍 OpenCL 架 构 ， 因 为 
OpenCl 得 到 更 多 设备 的 支持 ， 甚 至 被 包含 在 某 些 NVIDIA 图 形 卡 


开放 计算 语言 (Open Computing Language, OpenCL) 是 一 个 编写 程序 的 框架， 可 以 在 附加 在 主机 处 理 器 (一 个 
CPU) 的 CPU 或 GPU 上 执行 。OpenCL 定 义 了 一 种 类 C 语 言 来 编写 函数 ， 称 乙 为 核 ， 可 以 在 计算 设备 上 执行 。 使 用 OpenCL， 这 
些 核 可 以 在 与 CPU 或 GPU 并 行 的 所 有 或 许多 单个 的 处 理 单元 (PE) 上 运行 。 


此 外 ，OpencL 定 义 了 一 个 应 用 程序 接口 (API) ， 人 允许 程序 在 主机 (CPU) 上 和 运行， 以便 在 计算 机 设备 上 局 动 内 核 和 管理 
设备 内 存 ， (至 少 从 概念 上 来 说 ) 它们 与 主机 内 存 是 分 离 的 。OpenCL 程 序 旨 在 运行 时 才 被 编译 ， 以 便 使 用 OpenCL 的 应 用 程序 
在 各 种 主机 设备 的 实现 之 间 是 可 移植 的 。OpenCL 还 是 由 非 营利 技术 联盟 Khronos 团 队 (https://www.khronos.org/) 所 维护 
的 一 个 开放 标准 。 


OpenCV 包 含 一 组 类 和 函数 ， 可 以 采用 OpenCl 来 实现 和 加 速 OpenCV 的 功能 。 目 前 ， OpenCV 提 供 一 个 透明 的 APl， 能 够 
使 原始 的 APl 与 OpenCL 加 速 编程 统一 。 因 此 ， 只 需 编写 代码 一 次 。 它 有 一 个 新 的 统一 数据 结构 (UMat) ， 用 于 在 必要 和 可 能 
时 ， 负 责 将 数据 传输 到 GPU。 


在 OpenCV 中 ， 对 OpenCL 的 支持 是 专 为 易 用 性 设计 的 ， 并 且 不 需要 任何 OpenCL 知 识 。 在 最 低层 次 上 ，OpenCL 可 以 看 作 
一 组 加 速 器 ， 当 使 用 最 新 的 CPU 和 GPU 设备 时 ， 可 以 利用 高 运算 能 力 的 优点 。 


为 了 正确 地 运行 OpenCL 程 序 ，OpenCL 运 行 库 应 该 由 设备 供应 两 提供 ， 通 常 是 以 一 个 设备 驱动 的 形式 。 而 且 ， 为 了 使 用 市 
OpenClL 的 OpenCV， 需 要 一 个 兼容 的 SDK。 目 前 ， 有 5 个 可 用 的 OpenCL SDK: 


- AMD APP SDK: 该 SDK 在 CPU 和 GPU 上 支持 OpenCL， 例 如 ，X86+SSE2 (或 更 高 版 本 ) 的 CPU 和 AMD Fusion, AMD 


Radeon, AMD Mobility 和 ATI FirePro 的 GPU。 


: Intel SDK: 该 SDK 在 Intel Cote 处 理 器 和 Intel HD GPU.E i 4$fOpenCL, 43s, Intel- SSE4.1.. SSE4.22,AVX. Intel Core i7, 


i5 和 i3 (第 一 代 、 第 二 代 和 第 三 代 处 理 器 ) . Intel HD Graphics. Intel Core 2Solo (Duo、Quad 和 Extteme) 和 Inhtel Xeon CPU. 


- IBM OpenCL 开 发 工具 包 : 该 SDK 在 AMD 服 务 器 上 支持 OpenCL， 例 如 ，IBM Power, IBM PERCS 和 IBM BladeCenter. 


- IBM OpenCL 公 共和 运行 库 : 该 SDK 在 CPU 和 GPU 上 支持 OpbenCV， 例 如 ，X86+SSE2 (或 更 高 版 本 ) 的 CPU 和 AMD Fusion, 


AMD Raedon, NVIDIA Ion, NVIDIA GeFotce 和 NVIDIA Quadro GPU. 


: Nvidia OpenCL 驱 动 程序 和 工具 : 该 SDK 在 菜 些 Nvidia 图 形 设备 上 支持 OpenCL，, 例如 ，NVIDIA Tesla, NVIDIA GeForce, 


NVIDIA Ion 和 NVIDIA Quadro GPU. 


7.1 安装 带 OpenCL 的 OpenCV 


在 第 一 章 给 出 的 安装 步骤 上 ， 还 需要 一 些 附 加 步骤 ， 以 便 包括 OpenCL。 在 下 面 的 小 节 ， 将 讲解 这 些 所 需 的 新 软件 。 
要 在 Windows 上 编译 和 安 淡 市 OpenCL 的 OpenCV， 还 有 一 些 新 要 求 : 


- 支持 OpenCL 的 GPU 或 者 CPU: 这 是 最 重要 的 一 个 需求 。 注 意 ，OpenCL 支 持 许多 计算 设备 ,但 不 是 全 部 。 需 要 检查 你 的 图 


形 卡 或 处 理 器 是 否 与 OpenCL 兼容 。 本 章 使 用 AMD FirePro W5000GPU 上 的 AMD APP SDK 来 执行 示例 。 


Quz XH GXAMSDK, http://developer.amd.com/tools-and-sdks/opencl-zone/amd-accelerated-parallel-processing-app- 
sdk /system-requirements-dtiver-compatibility/ 上， 有 一 个 所 支持 的 计算 机 设备 的 列表 。 在 该 网 站 上 ， 还 可 以 商议 所 需 的 最 小 SDK 版 
Bro 


- 编译 器 : 带 OpenCL 的 OpenCV 与 Mictosoft 编 译 器 和 MinGW 编 译 器 是 兼容 的 。 可 以 安装 免费 的 Visual Studio Exptess 版 本 。 然 


而 ， 如 果 选 择 Microsoft 编 译 器 来 编译 OpenCV， 建 议 至 少 是 Visual Studio 2012。 但 是 ， 本 章 使 用 的 是 MinGW 编 译 器 。 


- AMD APP SDK: 该 SDK 是 一 套 高 级 软件 技术 ， 使 我 们 能 够 使 用 兼容 的 计算 设备 来 执行 和 加 速 许多 图 形 以 外 的 应 用 程序 。 
该 SDK 可 以 在 http://developer.amd.com/tools-and-sdks/opencl-zone/amd-accelerated-parallel-processing-app-sdk/ 上 找到 。 本 章 使 用 该 
SDK (用 于 64 位 的 Windows) 的 2.9 版 本 ， 可 以 在 图 7-1 中 看 到 其 安装 进程 。 


O38 如 果 这 个 步骤 失败 了 ， 你 可 能 需要 更 新 图 形 卡 的 控制 器 。AMD 的 控制 器 在 http://www.amd.comyen- 


us/innovations/software-technologies 上 可 以 找到 。 


AMI ) APP SDK 2.9 - InstallShielc 


Welcome to the InstallShield Wizard for AMD 
APP SDK 2.9 


The InstallShield(R) Wizard will allow you to modify, repair, or | 
remove AMD APP SDK 2.9. To continue, dick Next. 


图 7-1 安装 AMD APP SDK 


: OpenCL BLAS: 基本 线性 代数 子 程序 (Basic Linear Algebra Subroutines, BLAS) 是 在 AMD 设 备 上 进行 并 行 处 理 的 一 套 开源 
数学 库 。 可 以 从 http://developer.amd.com/tools-and-sdks/opencl-zone/amd-accelerated-parallel-processineg-math-libraries/ 上 下 载 到 。 本 
章 使 用 的 是 用 于 Windows 32/64 位 上 的 BLAS 1.1 版 本 ， 可 以 在 图 7-2 中 看 到 其 安装 进程 (AB). 


- OpenCL FFT: 快速 倩 里 叶 变 换 (Fast Fourier Transform, FFT) 是 一 个 非常 有 用 的 函数 ， 包 括 很 多 图 像 处 理 所 需 的 算法 。 
因此 ， 该 函数 的 实现 是 针对 AMD 设 备 上 的 并 行 处 理 。 该 函数 可 以 从 上 面 所 给 出 的 URL 地 址 中 下 载 。 本 章 使 用 的 是 用 于 Windows 
32/64 位 上 的 FFT1.1 版 本 ， 可 以 在 图 7-2 中 看 到 其 安装 进程 (AB) 。 


. 用 于 C++ 编译 器 的 Qt 库 : 在 术 章 中 ，Qt 库 中 的 MinGW 二进制 文件 被 用 来 编译 带 OpenCL 的 OpenCV。 另 一 个 办 法 是 安装 Qt 
的 最 新 版 本 ， 并 使 用 Visual C++ 编译 器 。 您 可 以 选择 Qt 版 本 及 其 所 用 的 编译 器 。 通 过 位 于 C: \Qt\Qt5.3.1 的 MaintenanceTool.exe 应 
用 提供 的 程序 管理 包 ， 可 以 下 载 其 他 的 Qt 有 版本。 本 章 使 用 32 位 的 Qt (5.3.1) 和 MinGW (4.8.2) 来 编译 带 OpenCL 的 OpenCV。 
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Welcome to the InstallShield Wizard for Welcome to the InstallShield Wizard for 
dAmdBlas dAmdFft 


The InstallShield(R) Wizard will allow you to modify, repair, or The InstallShield(R) Wizard will allow you to modify, repair, or 
remove dAmdBlas. To continue, dick Next. remove dAmdFft. To continue, dick Next. 


图 7-2 ”为 OpenCL 安 装 BLAS 和 FFT 


当前 面 的 需求 满足 时 ， 可 以 用 CMake 产 生 一 个 新 生成 的 构建 配置 。 这 个 过 程 与 第 一 章 中 介绍 的 典型 安装 有 一 些 不 同 的 地 
方 。 下 面 刘 出 两 者 之 间 区 别 的 说 明 : 


C 在 为 项 目 选择 生成 器 时 ， 可 以 选取 与 您 机 器 的 安装 环境 相对 应 的 编译 器 版 本 。 本 章 使 用 MinGW 来 编译 带 OpenCL 的 
OpenCV， 然 后 选择 MinGW Makefiles 选 项 ， 以 指定 本 地 编译 器 。 图 7-3 显 示 了 这 个 选择 。 


Specify the generator for this project Compilers 
[MnGwMaiees — 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 rJ frools/mingw482. 32/binjgcc.exe| t] C++ ools/mingw482_32/binfg++.exe (se) 


© Use default native compilers i Fortran m 


@ Specify native compilers 
(O Specify toolchain file for cross-compiling 
(© Specify options for cross-compiling 


图 7-3 ”CIMake 选 择 的 生成 器 项 目 


: 图 7-4 所 显示 的 选项 是 生成 带 OpenCL 的 OpenCV 项 目 所 需 的 。 必 须 启 用 WITH_OPENCL、WITH OPENCLAMDBLAS 4e 
WITH _ OPENCLAMDEFFT 选 项 。 必 须 在 CLAMDBLAS_INCLUDE_DIR、CLAMDBLAS_ROOT_DIR、CLAMDFFT_INCLUDE_DIR 
和 CLAMDEFFT ROOT _DIR 上 给 出 BLAS 和 FET 路 径 。 此 外 ， 如 第 一 章 所 述 ， 还 需要 局 用 WITH _ QT 选项 和 禁止 WITH _IPP 选 项 。 
启用 BUILD_EXAMPLES 也 是 明智 的 选择 。 图 7-4 显 示 了 在 构建 配置 中 所 选择 的 主要 选项 。 


| Whee ig the source code: =O: fOpenCv3.0Beta sources 
|| Where to build Hie binaries: | (D:/OpentlW3.OBebaybuid [Browse Bld | 


sms | 日 wpal 回 done (edb) (3€ Remove En 
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|| Where to budd the binaries: | DxJOpenCV3.0Be tou 
| Search: 


Mame 


| 


图 7-4 ” CMake 选择 的 主要 选项 


最 后 ， 为 构建 宙 OpenCL 的 OpenCV 项 目 ， 必 须 在 编译 之 前 生成 CMake 项 目 。 因 为 项 目 由 MinGW 生 成 ， 故 需要 及 用 
MinGW 编 译 器 来 构建 这 个 项 目 。 首 先 ， 使 用 Windows 控 制 台 选择 [opencv_build]/ 文 件 夹 ， 并 执行 命令 : 


./mingw32-make.exe -j 4 install 


这 里 的 -j 4 参数 是 系统 的 多 核 CPU 的 个 数 ， 用 于 所 希望 的 并 行 化 编译 。 


现在 ， 市 OpenCL 的 OpenCV 项 目 已 经 准备 融 绪 ， 可 以 使 用 。 新 的 二 进 制 文件 的 路 径 必 须 添加 到 系统 路 径 中 ， 本 示例 中 的 路 


f&t&[opencv build]/install/x64/mingw/bin, 


Oe 不 要 忘记 从 路 径 环 境 变 量 中 删除 OpenCV 原 来 的 二 进 制 文件 。 


7.2. IRRE CHa 


本 节 ， 有 三 个 使 用 带 OpenCL 的 OpenCV 例 子 。 第 一 个 例子 允许 检查 安装 的 SDK 是 否 可 用 ， 并 获取 支持 OpenCL 的 有 关 计算 
设备 的 有 用 信息 。 第 二 个 例子 展示 了 分 别 使 用 CPU 和 GPU 编程 的 同一 程序 的 两 个 版 本 。 最 后 一 个 例子 是 一 个 用 来 检测 和 标记 人 
脸 的 完整 程序 。 此 外 ， 进 行 了 计算 性 能 比较 。 


71.3 人 小结 


本 章 学 习 了 如 何在 计算 机 上 安 半 市 OpenCL 的 OpenCV， 以 及 如 何 使 用 你 的 〈 与 OpenCL 兼 容 的 ) 计算 机 设备 和 OpenCV 的 
最 新 版 本 来 开发 应 用 程序 。 


第 一 部 分 说 明了 什么 是 OpenCL， 以 及 可 用 的 SDK。 请 记 住 ， 根 据 您 计算 设备 的 不 同 ， 需 要 安装 某 一 特定 的 SDK 才 能 让 
OpenCL 正 常 工 作 。 第 二 部 分 说 明了 市 OpenCL 的 OpenCV 的 安 六 过 程 ， 并 使 用 到 AMD APP SDK。 最 后 一 部 分 给 出 了 三 个 使 用 
GPU 编程 的 例子 (为 了 进行 比较 ， 第 二 个 例子 还 有 一 个 CPU 的 版 本 ) 。 另 外 在 最 后 一 部 分 ， 对 CPU 和 和 GPU 处理 之 间 的 计算 性 能 
进行 了 比较 ， 结 果 表 明 GPU 版 本 的 速度 比 CPU 版 本 加 快 了 6 倍 。 


